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内 容 提 要 


本 书 提供 了 处 理 大 数据 和 在 企业 中 培养 创新 和 探索 文化 所 需 的 工 
有 共 、 流 程 和 方法 ， 描 绘 了 一 个 易于 实施 的 行动 计划 ， 以 帮助 企业 发 现 新 
的 商业 机 会 ， 实 现 新 的 业务 流程 ， 并 做 出 更 明智 的 决策 。 

本 书 重 点 介绍 了 如 何 驾驭 大 数据 溪 漳 ， 并 详细 地 介绍 了 什么 是 大 数 
据 ， 大 数据 为 什么 重要 ， 以 及 如 何 应 用 大 数据 。 本 书 还 从 具体 实用 的 角 
度 ， 介 绍 了 用 于 分 析 和 操作 大 数据 的 工具 、 技 术 和 方法 ;以 及 从 人 才 和 
企业 文化 的 角度 ， 介 绍 了 如 何 使 分 析 专 家 、 分 析 团 队 以 及 所 需 的 分 析 原 
则 更 加 高 效 ， 如 何 通过 分 析 创 新 中 心 使 得 分 析 更 加 具有 创造 力 ， 以 及 如 
何 改变 分 析 文 化 。 

本 书 适合 对 数据 处 理 、 数 据 挖掘 、 数 据 分 析 感 兴趣 的 技术 人 员 和 决 
傅 者 阅读 。 





对 本 书 的 赞 营 


这 本 书 关 注 了 它 应 该 关注 的 地 方 ， 主 要 关注 大 数据 的 有 效 分 析 ， 而 
不 是 大 数据 管理 (BDM) 。 它 从 数据 讲 起 ， 并 进一步 讲 到 如 何 制 定 决 
策 ， 如 何 创 建 单 越 的 分 析 中 心 ， 以 及 如 何 建立 分 析 文 化 。 你 将 可 以 发 现 
关于 大 数据 管理 的 一 些 话题 但是， 大量 的 内 容 是 天 于 如 何 创建 、 组 
织 、 补 充 、 执 行 那些 使 用 数据 作为 输入 的 分 析 活 动 。 

一 Thomas H. Davenport， 国 际 数据 分 析 研 究 所 联合 创始 人 、 人 研发 总 
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这 是 一 本 一 站 式 手册 ， 任 何 想 要 了 解 大 数据 是 什么 ， 以 及 如 何 通 过 
高 级 分 析 流 程 和 方法 车 驶 大 数据 的 人 都 应 该 阅读 它 。Bill ”Franks 深 刻 理 
解 了 如 何 创 建 一 个 完整 的 、 意 在 竞争 中 获得 优势 的 分 析 生 态 系统 ， 并 在 
本 书 中 对 其 进行 了 详细 摘 述 。 

一 Stuart Aitken， 美 国 dunnhumby 公 司 首 席 执行 官 





在 《驾驭 大 数据 》 中 ，Bill Franks 很 好 地 介绍 了 可 以 产生 新 商业 价值 
的 大 数据 和 分 析 类 型 ， 而 这 些 价 值 将 从 正在 被 大 数据 浪潮 冲击 的 企业 所 
掌握 的 新 型 大 数据 源 中 获得 。 这 本 书 很 容易 阅读 ， 在 每 章 的 末尾 都 
有 “本 章 小 结 ?来 帮助 你 进行 总 结 。 这 本 书 还 避免 使 用 过 于 专业 的 技术 术 
语 ， 但 本 书 绝 不 是 一 本 轻 量 级 书籍 。 在 这 本 很 棒 的 大 数据 入 门 书 中 ， 
Bill 为 分 析 创 新 和 从 现在 开始 做 大 数据 分 析 提 供 了 强大 的 案例 。 
一 James Taylor, Decision Management Solutions 公 司 首席 执行 官 

















Dicision Management Systems: A Practical Guide to Using Business 
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Predictive Analytics 作 者 





如 果 你 想 要 了 解 为 什么 在 许多 行业 中 ， 大 数据 都 可 以 产生 商业 价 
值 ， 那 么 ， 这 本 书 将 为 你 提供 多 个 视角 和 多 种 答案 一 一 从 高 科技 ， 到 数 
据 科 学 ， 到 业务 用 户 和 流程 等 。 在 我 整个 分 析 的 研究 和 教学 生涯 中 ， 我 
从 没 遇 到 过 这 样 一 本 书 ， 能 将 信息 技术 与 公司 业务 以 如 此 简洁 的 方式 结 
合 到 一 起 。 我 推荐 任何 与 大 数据 有 交集 的 人 都 阅读 本 书 。 

一 Diego Klabjan， 美 国 西北 大 学 教授 


Master of Science in Analytics Program 人 负责 








Bill Franks 以 一 种 富 教 于 乐 的 方式 来 讨论 这 个 复杂 的 主题 。 他 为 从 业 
人 员 和 新 手 们 提供 了 他 对 大 数据 最 真实 的 理解 和 远见 日 识 ， 这 使 得 本 书 
成 为 了 一 本 重要 的 读物 ， 任 何 分 析 领 域 的 新 手 和 从 业 人 员 都 可 以 通过 本 
书 向 分 析 行 业 的 领导 者 学 习 。Franks 跨 多 个 行业 的 见解 ， 以 及 他 对 大 数 
据 的 驾驭， 都 证 明了 他 是 带领 你 进入 大 数据 分 析 领 域 最 好 的 领路 人 。 
一 Richard Maltsbarger， 美 国务 氏 公司 高 级 战略 副 总 裁 





过 驭 未 来 的 价值 及 现 之 旅 


这 不 仅 是 数据 爆炸 的 时 代 ， 更 是 一 个 大 数据 爆发 的 时 代 。 面 对 大 数 
据 的 激流 ， 多 元 化 数据 的 大 量 涌现 ， 大 数据 已 经 为 个 人 生活 、 企 业经 
营 ， 甚 至 国家 和 社会 都 带 来 了 机 过 和 影响 。 

大 数据 的 技术 和 市 场 正在 快速 发 展 ， 而 萄 台大 数据 的 呼声 则 一 浪 蜗 
过 一 浪 。 随 着 大 数据 所 强 含 价值 的 激情 释放 ， 使 得 大 数据 已 经 成 为 IT 信 
恩 产 业 中 最 具 潜 力 的 蓝海 。 但 是 ， 面 对 各 种 不 同 的 大 数据 工具 和 解决 方 
案 ， 到 底 哪些 才 是 技术 核心 ， 并 能 够 带 来 真正 的 价值 ? 

本 书 作 者 Bill Franks 先 生 是 Teradata 天 窒 公 司 首席 分 析 官 ， 他 将 自己 
和 Teradata 在 数据 分 析 领 域 的 知识 和 经 验 进行 了 总 结 ， 并 带领 我 们 到 上 
了 大 数据 价值 的 发 现 之 旅 。 我 很 采 过 率先 阅读 了 本 书 的 中 文 版 ， 并 郑重 
推荐 给 大 家 ， 同 大 家 一 起 分 享 数 据 价 值 极 致 演绎 的 心得 体会 。 

大 数据 的 核心 

抹 省 理工 学 院 管理 评论 在 “ 通 往 价值 的 新 道路 ”研究 报告 中 ， 总 结 
了 “顶尖 绩效 的 公司 使 用 正确 分 析 挖 气 方 法 和 工具 的 使 用 率 ， 与 绩效 较 
低 的 公司 相 比 ， 高 出 了 5 倍 。” 美 国 全 国保 险 公司 客 户 管 理 副 总 裁 Kathy. 
Koontz 女 士 指出 : “重要 的 不 是 数据 ， 而 是 如 何 使 用 数据 。 企 业 必 须 改 
变 它 们 的 经 营 方式 ， 学 会 从 数据 中 洞察 事实 并 做 出 反应 ， 人 否则 数据 整理 
得 再 有 条 理 ， 也 没什么 价值 。” 政 府 或 企 事 业 单 位 对 于 数据 的 概 驭 ， 从 
最 基本 的 获取 ， 到 整合 、 治 理 、 分 析 、 探 索 、 汲 取 智 能 、 采 取 精 确 的 行 
动 ， 这 种 全 程 能 力 的 建立 已 经 比 以 往 任 何 时 候 更 为 重要 。 

所 以 ， 数 据 的 核心 是 发 现价 值 ， 而 驾驶 数据 的 核心 是 分 析 。 我 想 强 
调 一 点 ， 过 去 所 谓 “ 得 数据 者 得 天 下 ”的 说 法 ， 只 是 说 明了 “获取 ”数据 的 
重要 ; 人 然而， 立身 于 大 数据 时 代 的 我 们 ， 应 该 更 加 专注 于 数据 的 核心 价 
值 ， 如 何 转化 和 激发 它 的 淤 能， 赋予 它 新 的 生命 ， 创 造 出 更 多 的 业务 提 


























升 机 会 ， 这 才 是 真正 的 重点 所 在 。 

IDC 调 研 显示 ， 中 国 的 大 数据 市 场 未 来 5 年 将 以 51.4% 的 速度 增长 。 
正如 书 中 所 言 “ 今 天 的 大 数据 并 非 明天 的 大 数据 ”>， 帮 助 政府 和 企业 掌握 
朗 驭 大 数据 的 能 力 就 是 帮助 它们 顾 得 未 来 。Teradata 天 睿 公司 在 帮助 政 
府 和 企业 进行 大 数据 分 析 的 过 程 中 ， 倡 导 使 用 已 经 过 无 数 次 验证 的 IDA 
方法 论 ， 即 通过 对 信息 的 整合 (Integration) 、 探 索 (Discovery) ， 并 
使 其 转化 成 行动 (Action，〉， 最 终 帮 助 用 户 建立 制胜 未 来 的 核心 苋 争 
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大 数据 的 挑战 和 起 势 

随 着 大 数据 浪潮 的 加 速 到 来 ， 未 来 5 年 将 成 为 大 数据 的 全 面 发 展期 ， 
将 出 现 产 业 链 的 整体 繁 采 。 如 何在 大 数据 浪 淹 的 洗礼 中 确保 技术 架构 、 
人 才 、 政 府 和 企业 战略 以 及 商业 模式 能 够 “ 逐 浪 漠 涉 ”"， 将 更 需要 积极 主 
动 地 选择 适合 的 技术 、 方 法 论 、 解 决 方案 和 发 展 策略 等 。 

环顾 整个 市 场 ， 我 们 在 茶 些 领域 取得 了 突破 性 发 展 ， 但 仍然 面临 着 
大 量 挑 成 。 例 如 ， 研 发 分 析 各 种 多 元 结构 化 数据 的 高 效 技术 ， 提 高 大 数 
据 分 析 的 易 用 性 ， 让 大 数据 分 析 技 术 实 现 “ 开 箱 即 用 ”， 使 得 数据 分 析 成 
为 政府 和 企业 建立 核心 竞争 力 的 关键 途径 。 技 术 创新 水 无 止境 ， 面 对 快 
速 增长 的 大 数据 ， 我 们 还 需要 处 理 “ 更 大 的 数据 *"， 激 活 “ 各 种 渠道 、 各 
种 结构 、 过 去 、 现 在 甚至 未 来 的 数据 ”的 更 大 价值 。 

驾驭 大 数据 就 是 驾驭 未 来 

本 书 作 者 Bill Franks 先 生 秦 献 出 自己 的 智慧 、 见 解 和 实践 经 验 ， 帮 助 
武装 我 们 的 思想 和 技能 。 

无 论 你 是 衣 席 技术 官 、 首 席 信 息 官 和 首席 营销 官 ， 还 是 想 成 为 更 加 
优秀 的 业务 分 析 师 ， 本 书 将 告诉 你 如 何 整合 数据 、 探 索 数 据 ， 并 转化 为 
行动 ， 并 最 终 带 来 业务 价值 。 书 中 不 仅 介 绍 了 分 析 流 程 的 演进 、 方 法 
论 、 分 析 团 队 的 组 建 ， 还 有 对 建立 分 析 文 化 的 深入 探究 。 我 相信 本 书 将 






































成 为 大 家 应 对 大 数据 来 袭 的 最 佳 工 具 书 ， 成 为 你 要 驭 未 来 的 技术 指南 ， 
帮助 你 成 为 赢得 赣 海 的 真正 王者 。 

最 后 ， 我 要 感谢 本 书 的 原著 作者 Bill Franks， 感 谢 几 位 先期 读者 在 百 
忙中 为 本 书写 下 真知 灼 见 的 书评 ， 感 谢 为 中 文 版 出 版 做 出 贡献 的 人 民 邮 
电 出 版 社 的 领导 、 编 审 和 各 位 译 者 ， 感 谢 Teradata 天 窒 公 司 的 技术 和 市 
场 团队 付出 的 日 日 夜 夜 ， 请 相信 你 们 的 努力 将 会 在 我 们 的 数据 价值 发 现 
之 旅 中 绽放 精彩 。 











NN 
Teradata 天 害 公 司 大 中 华 区 首席 执行 官 
2012 年 12 月 12 日 
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无 论 你 是 否 喜欢 ， 大 量 的 数据 都 会 在 不 久 的 将 来 涌 入 你 的 生活 。 也 
许 它 现在 已 经 出 现在 你 的 生活 中 了 ， 也 许 你 已 经 与 它们 打 了 一 段 时 间 交 
道 一 例如 ， 试 图 解决 这 些 数据 的 存储 问题 以 便 后 续 的 访问 ， 处 理 错误 和 
缺陷 ， 或 者 将 这 些 数据 进行 结构 化 分 类 。 或 许 你 现在 准备 通过 分 析 庞 大 
的 数据 集 提炼 出 一 些 有 价值 的 数据 ， 进 而 从 中 得 到 一 些 关 于 你 的 客户 、 
业务 或 者 你 的 企业 所 处 商业 环境 的 信息 。 或 许 你 还 没有 到 这 一 步 ， 但 是 
你 已 经 意识 到 了 数据 管理 的 重要 性 。 

无 论 你 属于 上 述 哪 种 情况 ， 你 都 找 对 了 地 方 。 正 如 Bil Franks 所 说 ， 
在 不 久 的 将 来 ， 不 仅 会 有 大 数据 ， 还 会 有 许多 关于 大 数据 的 书籍 。 但 
是 ， 我 觉得 这 本 书 不 同 于 其 他 的 大 数据 书籍 。 首 先 ， 该 书 是 这 个 领域 的 
先驱 者 。 最 重要 的 是 ， 它 与 其 他 书籍 侧重 的 内 容 有 所 不 同 。 

很 多 大 数据 的 书籍 侧重 于 大 数据 管理 : 如何 将 大 数据 存储 到 数据 库 
或 者 数据 仓库 中 ， 或 者 如 何 将 非 结构 化 数据 进行 结构 化 和 分 类 。 如 果 你 
发 现 自己 阅读 到 了 很 多 关于 Hadoop、MapReduce 或 者 其 他 关于 数据 仓库 
方法 的 内 容 ， 那 么 你 可 能 已 经 遇 到 了 ， 或 正在 寻找 一 本 “大 数据 管理 
(BDM) ”的 书籍 。 

当然 ， 大 数据 管理 是 一 项 重要 的 工作 。 无 论 你 有 多 少 何 种 质量 的 数 
据 ， 如 果 你 不 能 将 它们 按照 某 种 便于 访问 和 分 析 的 格式 存储 到 一 个 环境 
中 ， 那 么 你 就 无 法 体现 出 这 些 数据 的 价值 。 

但 仅仅 是 大 数据 管理 方面 的 知识 还 不 能 让 你 走 得 更 远 。 为 了 让 这 些 
任意 大 小 的 数据 变 得 有 价值 ， 你 不 得 不 自己 分 析 和 操作 这 些 大 数据 。 正 
如 传统 的 数据 库 管 理工 具 不 能 自动 地 分 析 来 自传 统 系统 的 交易 数据 一 
样 ，Hadoop 和 MapReduce 也 不 能 自动 解释 来 自 网 站 、 基 因 图 谱 、 图 像 分 
析 或 者 其 他 大 数据 源 的 数据 的 含义 。 即 使 在 大 数据 时 代 到 来 之 前 ， 许 多 




















从 事 数 据 管理 多 年 〈 甚 至 是 几 十 年 ) 的 组 织 也 没 能 从 它们 的 数据 中 获取 
到 便于 分 析 和 决策 的 有 价值 信息 。 

在 我 看 来 ， 这 本 书 将 重点 放 对 了 地 方 。 它 主要 是 关于 大 数据 的 有 效 
分 析 ， 而 不 是 大 数据 管理 本 喘 。 它 从 数据 开始 ， 所 有 的 内 容 均 围 比如 何 
做 整体 决策 ， 如 何 构建 音 越 的 数据 分 析 中 心 ， 以 及 如 何 构建 数据 分 析 文 
化 等 主题 。 你 也 会 发 现 一 些 大 数据 管理 中 提 到 的 内 容 ， 但 该 书 内 容 的 主 
体 仍 是 关于 如 何 利 用 输入 数据 生成 、 组 织 、 配 置 和 执行 数据 分 析 。 

或 许 你 还 没有 意识 到 ， 分 析 在 今天 的 商业 领域 中 是 一 个 很 热门 的 话 
题 。 这 本 书 将 主要 围 经 公司 如 何 利 用 分 析 进 行 竞 争 ， 我 在 该 领域 的 著作 
和 论文 一 直 是 我 所 有 著作 中 最 热门 的 内 容 。 关 于 分 析 的 会 议 也 在 各 地 不 
断 涌 现 。 大 的 咨询 公司 ， 例 如 ，Accenture、Deloitte 和 IBM 已 经 在 该 领 
域 积累 了 大 量 经 验 。 许 多 公司 、 公 共 服 务 部 门 甚至 非 营利 机 构 都 已 经 将 
分 析 作 为 一 个 优先 的 战略 。 现 在 人 们 对 大 数据 非常 感 兴趣 ， 但 是 重点 仍 
应 该 放 在 如 何 组 织 这 些 数据 并 使 得 它们 便于 分 析 ， 进 而 影响 决策 和 行 
动 。 

Bill Franks 独 创 地 将 讨论 重点 放 在 大 数据 和 分 析 的 交集 上 。 与 其 他 数 
据 仓 库 和 数据 应 用 供应 商 相 比 ， 他 所 在 的 公司 Teradata， 在 数据 分 析 及 
从 中 提取 商业 价值 的 领域 ,， 一直 都 表现 出 了 最 高 的 专注 程度 。 尺 管 
Teradata 最 被 人 们 熟知 的 是 其 企业 数据 仓库 工具 ， 但 是 这 些 年 来 ， 它 也 
提供 了 一 系列 的 分 析 应 用 工具 。 

在 过 去 的 一 些 年 中 ，Teradata 为 了 开发 面 癌 大 数据 的 高 度 可 扩展 的 分 
析 工 具 ， 己 经 和 领先 的 数据 分 析 软 件 供 应 黄 SAS 建 并 了 紧密 的 联系 。 这 
些 工 具 通 常 是 数据 仓库 环境 的 艇 入 式 分 析 工 具 ， 并 针对 大 量 数 据 分 析 应 
用 ， 例 如 ， 实 时 欺诈 检测 和 大 规模 客户 购买 倾 回 评分 。Bill ”Franks 是 
Teradata 的 首席 分 析 专 家 ， 因 此 有 机 会 了 解 大 规模 分 析 和 库 内 处 理 的 理 
念 和 专业 知识 。 如 果 讨 论 这 个 主题 ， 可 能 没有 比 Bill Franks 更 好 的 人 选 
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那么 ， 本 书 还 提供 了 哪些 特别 有 趣 且 重 要 的 内 容 呢 ? 以 下 是 关于 本 
书 重点 的 简要 介绍 。 

四 第 1 章 概 述 了 大 数据 的 相关 概念 ， 还 解释 了 “数据 的 大 小 并 不 总 是 
最 重要 的 ”这 个 观点 。 事 实 上 ， 在 整 本 书 中 ，Franks 指 出 了 许多 大 数据 其 
实 并 没有 用 ， 如 何 过 小 挥 无 效 的 数据 才 是 真正 重要 的 。 

四 ”第 3 章 是 对 大 数据 源 的 综述 ， 将 大 数据 源 进 行 了 创造 性 和 有 价值 
的 分 类 ， 且 非常 全 面 。 该 书 第 2 半 介 绍 了 网 络 数据 及 其 分 析 ， 对 希望 了 
解 在 线 用 户 行为 的 企业 和 个 人 会 很 有 帮助 。 这 部 分 内 容 绝 不 仅仅 是 一 般 
的 面 癌 网 页 分 析 的 报表 。 

四 ”第 4 章 致 力 于 介绍 分 析 可 扩展 性 的 演进 ， 这 部 分 内 容 为 您 提供 了 
一 个 大 数据 和 分 析 技 术 平 台 的 全 新 视角 。 可 以 肯定 的 是 ， 你 在 其 他 地 方 
都 未 曾 看 到 过 这 部 分 的 内 容 。 该 章 也 讲述 了 最 新 的 技术 ， 例 如 ， 
MapReduce， 并 讨论 了 大 部 分 大 数据 分 析 工 作 都 需要 一 个 混合 的 环境 。 

四 ”该 书包 含 了 一 部 分 关于 如 何 生 成 和 管理 分 析 数 据 环 境 的 最 新 内 
容 ， 这 也 是 在 其 他 地 方 看 不 到 的 内 容 。 如 果 你 想 要 了 解 最 新 的 关于 “分 
析 沙 箱 ” 和 “企业 分 析 数 据 集 ”内 容 ( 这 对 我 来 讲 也 是 全 新 的 内 容 ， 但 是 
现在 我 知道 了 它们 是 什么 以 及 它们 的 重要 性 ) ， 那 么 你 可 以 在 第 5 章 中 
找到 答案 。 本 章 还 包含 了 一 些 关 于 对 管理 系统 和 处 理 流 程 进行 建 模 和 评 
分 的 重要 信息 。 

四 ”第 6 半 讨 论 了 目前 常用 分 析 软 件 工具 的 类 型 ， 包含 开源 包 R。 里 
然 很 难 找到 关于 这 些 不 同 分 析 环 境 优 缺点 的 评价 ， 但 是 本 章 中 你 将 读 到 
这 些 分 析 。 最 后 ， 本 章 讨 论 了 一 些 组 合 和 简易 分 析 的 方法 ， 以 便于 像 我 
这 样 的 非 技 术 人 员 理 解 。 

四 ”该 书 的 第 三 部 分 从 拉 术 角度 给 出 了 在 分 析 中 和 企业 管理 方面 的 建 
议 。 同 时 ， 选 取 的 角度 也 是 很 合理 的 。 例 如 ， 我 特别 喜欢 第 7 章 中 关于 
制定 决策 和 发 现 问题 的 部 分 。 许 多 分 析 专 家 进行 分 析 时 都 没有 考虑 一 个 
更 大 的 问题 一 这 些 问题 是 如 何 产生 的 。 









































量 ”近来 有 人 问 我 ， 关 于 分 析 文 化 内 容 的 描述 是 人 否 超出 了 本 书 的 范 
畴 。 我 回答 将， 在 我 读 Franks 所 写 的 第 四 部 分 之 前 ， 我 并 不 知道 这 个 问 
题 的 答案 。 他 将 分 析 文 化 和 创新 文化 联系 在 了 一 起 ， 这 一 点 我 非常 喜 
欢 ， 并 且 以 前 从 未 见 到 过 此 类 内 容 。 

尽管 这 本 书 并 没有 避 开 技术 话题 ， 但 它 以 一 种 直接 和 解释 性 的 方式 
对 它们 进行 了 描述 。 这 使 得 本 书 适 合 更 广泛 的 读者 ， 包 括 那 些 技 术 背景 
有 限 的 读者 。Franks 使 用 数据 可 视 化 工具 的 论述 借以 概括 整 本 书 的 基调 
和 视角 : “简单 即 是 最 好 的 。 仅 当 必 要 时 ， 再 把 它 变 得 复杂 。” 

如 条 您 的 企业 打算 进行 分 析 工 作 一 坚 无 疑问 你 将 需要 解决 很 多 在 这 
本 书 中 所 涉及 的 问题 。 即 使 你 不 是 一 个 技术 人 员 ， 你 也 需要 熟悉 一 些 关 
于 构建 企业 分 析 能 力 所 涉及 的 内 容 。 如 果 你 是 一 个 技术 人 员 ， 你 将 学 习 
到 分 析 中 人 性 化 的 一 面 。 如 果 你 正在 书店 或 者 通过 “搜索 本 书 内 容 ” 浏 览 
本 书 的 前 言 部 分 ， 那 么 买 下 这 本 书 吧 。 如 果 你 已 经 买 了 这 本 书 ， 那 就 赶 
快 行动 起 来 ， 阅 读 它 吧 ! 
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用 吾 


你 收 到 一 封 邮件 ， 邮 件 中 提供 了 一 套 个 人 电脑 的 报价 。 而 你 几 个 小 
时 前 刚刚 在 这 家 零售 商 的 网 站 上 搜索 过 电脑 的 信息 ， 似 乎 它们 已 经 读 出 
了 你 的 想法 .…… 当 你 驱车 前 往 这 家 商店 购买 这 套 个 人 电脑 时 ， 你 路 过 了 
一 家 咖啡 店 ， 你 看 到 了 这 家 咖啡 店 的 一 条 折扣 信息 。 你 获知 由 于 你 刚 来 
到 这 片区 域 ， 你 可 以 在 未 来 20 分 钟 内 享受 10% 的 折扣 .……. 

在 你 至 用 咖啡 的 时 候 ， 你 收 到 了 一 家 制造 商 关 于 茶 产 品 的 道歉 ， 而 
你 上 昨天 刚刚 在 你 的 Facebook 主 页 和 这 家 公司 的 网 站 上 抱怨 了 它们 的 产 
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最 后 ， 当 你 回 到 家 之 后 ， 你 又 收 到 了 一 条 关于 购买 你 最 辟 欢 的 在 线 
视频 游戏 升级 装备 的 信息 。 有 了 这 些 装 备 ， 你 才能 顺利 通过 茶 些 曾经 若 
否 挣 扎 的 关卡 .……… 

听 起 来 很 疯狂 吗 ? 难道 这 些 事情 只 有 在 很 远 的 未 来 才 及 生 吗 ? 不 ， 
这 些 场景 都 是 我 们 今天 可 能 见 到 的 ! 大 数据 、 高 级 分 析 、 大 数据 分 析 ， 
似乎 今天 你 已 经 逃脱 不 了 这 些 术语 了 。 无 论 在 哪里 ， 你 都 会 听 到 人 们 在 
讨论 大 数据 和 高 级 分 析 ， 看 到 关于 它们 的 文章 或 是 宣传 推销 它们 。 好 
了 ， 现 在 你 也 可 以 将 这 本 书 加 入 关于 它们 的 讨论 中 了 。 

什么 是 真实 的 ， 什 么 是 炒作 ? 这些 关 注 可 能 会 使 你 怀疑 大 数据 分 析 
是 一 种 炒作 ， 而 非 真实 的 东西 。 尽 管 在 过 去 的 几 年 曾经 有 不 少 被 炒作 的 
概念 ， 然 而 就 分 析 能 力 和 处 理 海量 数据 而 言 ， 我 们 确实 处 在 一 个 转型 的 
年 代 。 如 宋 你 肯 人 花 一 些 时 间 来 理 清 并 过 涯 邱 那 些 有 时 被 媒体 过 分 炒作 的 
部 分 ， 你 会 发 现 大 数据 背后 有 一 些 非常 真实 和 强大 的 东西 。 随 着 时 间 的 
推移 ， 大 数据 分 析 会 使 企业 和 消费 者 部 获 益 ， 而 收 荔 带 来 的 兴奋 和 期 街 
又 会 继续 引发 更 多 的 炒作 。 

大 数据 是 下 一 波 新 数据 源 的 浪 渭 ， 并 会 驱动 分 析 在 商业 、 政 府 及 教 























育 界 的 下 一 次 音 新 。 这 些 革 新 将 有 可 能 快速 改变 企业 审视 它们 上 自身 业务 
的 方式 。 大 数据 分 析 可 以 促成 更 加 明智 的 决策 ， 在 某 些 情况 下 ， 促 成 这 
些 决 策 的 方式 将 明显 不 同 于 今天 。 它 带 来 的 很 多 洞察 在 今天 看 起 来 都 像 
是 在 做 梦 。 你 会 看 到 ， 征 服 大 数据 的 需求 和 一 直 以 来 征服 新 数据 源 的 需 
求 在 很 大 程度 上 是 一 致 的 。 然 而 ， 大 数据 的 额外 规模 必须 使 用 新 的 工 
有 具 、 技 术 、 方 法 和 流程 。 传 统 的 分 析 方 法 已 经 不 再 适用 于 新 的 环境 ， 我 
们 有 必要 使 用 高 级 分 析 将 商业 界 市 入 更 高 的 层次 。 这 束 是 这 本 书 要 讲 的 
内 容 。 

“驾驭 大 数据 "并 不 只 是 本 书 的 书 名 ， 而 是 下 一 个 十 年 中 ， 决 定 哪些 
商业 活动 将 振兴 ， 而 哪些 商业 活动 将 消亡 的 决定 性 因素 。 准 备 主动 接受 
大 数据 ， 企 业 可 以 通过 各 驭 大 数据 浪潮 而 取得 成 功 ， 而 不 是 遭受 大 数据 
浪潮 连绵 不 断 的 冲击 。 你 需要 了 人 解 些 什 么 ?你 如 何 为 征服 大 数据 做 准 
备 ? 你 如 何 从 大 数据 中 获得 振奋 人 心 的 分 析 结果 ? 坐 下 来 ， 找 一 个 舒服 
的 姿势 ， 准 备 好 发 现 大 数据 的 秘密 ! 

读者 对 象 

这 些 年 来 有 无 数 关于 高 级 分 析 的 书籍 问世 ， 最 近 也 开始 有 关于 大 数 
据 的 书籍 出 现 。 本 书 是 从 一 个 与 其 他 书籍 不 同 的 角度 来 看 大 数据 的 ， 主 
要 帮助 读者 理解 什么 是 大 数据 ， 如 何 通 过 分 析 来 利用 大 数据 ， 以 及 在 如 
今 的 大 数据 环境 中 ， 如 何 处 理 世界 范围 内 的 高 级 分 析 生 态 系统 的 创新 和 
变革 。 大 部 分 读者 都 将 发 现 这 本 书 有 价值 且 充 满 趣味 。 无 论 你 是 分 析 专 
家 ， 还 是 使 用 分 析 结 果 的 企业 家 ， 或 者 只 是 对 大 数据 和 高 级 分 析 感 兴趣 
的 人 ， 这 本 书 都 有 适合 你 阅读 的 内 容 。 

本 书 并 不 会 深入 介绍 所 涉及 主题 的 技术 细节 。 本 书 的 技术 高 度 刚刚 
能 够 让 读者 从 高 层次 来 理解 其 所 讨论 的 概念 。 本 书 的 目的 是 使 读者 可 以 
理解 ， 并 开始 运用 这 些 概 念 ， 以 及 帮助 他 们 认识 在 哪些 方面 还 需要 更 加 
深入 的 研究 。 这 本 书 更 像 是 一 本 手册 而 非 教科 书 ， 完 全 可 以 被 非 技术 人 









































员 理 解 和 掌握 。 同 时， 那些 对 这 些 主题 已 经 有 深入 了 解 的 读者 ， 也 可 以 
从 本 书 的 一 些 讨 论 中 获得 一 些 技术 方面 更 深层 次 的 局 示 。 

内 容 提 要 

本 书 由 四 部 分 组 成 ， 每 一 部 分 都 从 一 个 方面 来 介绍 如 何 罗 驭 大 数据 
浪潮 。 第 一 部 分 将 介绍 什么 是 大 数据 ， 大 数据 为 什么 重要 ， 以 及 如 何 应 
用 大 数据 。 第 二 部 分 集中 介绍 那些 能 够 用 于 分 析 和 操作 大 数据 的 工具 、 
技术 和 方法 。 第 三 部 分 介绍 如 何 使 分 析 专 家 、 分 析 团 队 以 及 所 需 的 分 析 
原则 更 加 高 效 。 第 四 部 分 将 前 三 部 分 结合 在 一 起 ， 重 点 介绍 了 如 何 通 过 
分 析 创 新 中 心 使 得 分 析 更 加 有 创造 力 ， 以 及 如 何 改变 分 析 文 化 。 以 下 是 
天 于 各 章节 所 涉及 和 内容 的 详细 提纲 。 

第 一 部 分 “大 数据 的 兴起 

第 一 部 分 重点 介绍 了 什么 是 大 数据 ， 大 数据 为 什么 重要 ， 以 及 分 析 
大 数据 可 以 带 来 什么 好 处 。 本 部 分 履 凋 了 10 种 类 型 的 大 数据 源 ， 以 及 如 
何 利用 这 些 资源 来 帮助 企业 提高 其 业务 水 平 。 如 果 读 者 拿 起 这 本 书 时 ， 
还 不 知道 什么 是 大 数据 ， 以 及 大 数据 的 应 用 有 多 么 广泛 ， 那 么 第 一 部 分 
会 帮助 你 了 解 这 部 分 内 容 。 

第 1 草 什么 是 大 数据 ， 大 数据 为 什么 重要 

本 半 首 先 介 绍 了 大 数据 的 背景 知识 ， 以 及 大 数据 到 底 是 关于 什么 
的 。 然 后 给 出 了 一 些 企业 如 何 利用 大 数据 的 案例 。 如 果 读者 想 要 帮助 自 
己 的 企业 敬 驭 大 数据 浪潮 ， 那 么 请 首先 理解 本 章 所 讲 的 内 容 。 

第 2 革 网络 数据 : 原始 的 大 数据 

如 今 ， 或 许 应 用 最 为 广泛 并 为 人 们 所 上 熟 知 的 大 数据 源 是 从 网 站 上 收 
集 来 的 详细 数据 。 用 户 浏 览 互联 网 所 产生 的 日 志 信 息 ， 是 等 竺 分 机 和 控 
掘 的 信息 宝库 。 不 同行 业 的 企业 都 将 从 它们 网 站 上 收集 到 的 详细 用 户 信 
娠 整合 到 它们 的 企业 业务 分 析 中 。 本 划 将 探索 这 些 数据 是 如 何 增强 和 改 
变 一 系列 业务 决策 的 。 

第 3 革 ”典型 大 数据 源 及 其 价值 


























在 本 章 中 ， 我 们 将 从 高 层次 来 探索 9 种 大 数据 源 。 其 目的 是 介绍 每 种 
数据 源 ， 并 讨论 每 种 数据 源 在 商业 中 的 应 用 和 启示 。 一 些 本 质 相同 的 技 
术 应 用 在 不 同 的 行业 中 ， 以 产生 多 种 大 数据 源 ， 这 个 趋势 已 经 越 来 越 明 
显 。 男 外 ， 不 同 的 行业 可 以 利用 一 些 相 同 的 大 数据 源 ， 大 数据 并 非 只 能 
用 于 某 些 狭 罕 的 领域 。 

第 二 部 分 ”驾驭 大 数据 : 技术 、 流 程 以 及 方法 

第 二 部 分 将 集中 介绍 用 于 驾驭 大 数据 的 技术 、 流 程 以 及 方法 。 这 些 
年 取得 的 重大 进展 增加 了 这 3 个 方面 的 可 扩展 性 。 企 业 不 能 继续 依赖 外 
部 的 方法 和 专家 来 保持 它们 在 大 数据 世界 中 的 竞争 力 。 本 书 的 这 一 部 分 
将 是 技术 性 最 强 的 一 部 分 ， 但 仍然 可 以 被 绝 大 多 数 的 读者 所 理解 和 接 
受 。 读 完 这 些 章 节 后 ， 读 者 将 熟悉 他 们 今后 进入 大 数据 分 析 领 域 时 可 能 
遇 到 的 一 系列 概念 。 

第 4 章 分析 可 扩展 性 的 演进 

在 每 一 个 时 期 ， 数 据 的 高 速 增长 使 得 当时 最 具 可 扩展 性 的 工具 也 只 
能 疲 于 应 付 。 在 大 数据 出 现 之 前 ， 传 统 的 高 级 分 析 方 法 已 经 到 达 了 它们 
的 上 瓶颈 。 如 今 ， 传 统 的 方法 已 经 不 再 适用 。 本 章 将 讨论 分 析 和 数据 环境 
的 融合 、 海 量 并 行 处 理 (MPP) 体系 、 云 、 网 格 计算 ， 以 及 MapReduce 
技术 。 这 些 技术 增 强 了 可 扩展 性 ， 并 且 在 大 数据 分 析 中 扮演 着 重要 角 
色 。 

第 5 章 “分 析 流 程 的 演进 

为 了 更 好 地 利用 被 极 大 增强 的 可 扩展 性 ， 分 析 流 程 也 需要 进行 升 
级 。 本 章 将 首先 概述 如 何 利用 分 析 沙 箱 为 分 析 专 家 提供 一 个 可 扩展 的 环 
境 ， 从 而 建立 高 级 分 析 流 程 。 然 后 ， 我 们 将 介绍 企业 分 析 数 据 库 如 何 帮 
助 在 创建 分 析 数 据 时 ， 获 得 更 高 的 一 致 性 并 减 小 风险 ， 同 时 提高 分 析 专 
家 的 生产 效率 。 本 章 最 后 将 探讨 如 何 使 用 舱 入 式 评 分 过 程 将 高 级 分 析 流 
程 部 普 和 转移 到 用 户 端 和 应 用 端 。 

第 6 章 “分析 工具 和 方法 的 演进 























本 章 将 介绍 一 些 高 级 分 析 方 法 演进 的 过 程 ， 以 及 这 些 改进 将 如 何 继 
续 改 变 分 析 专 家 完成 工作 和 处 理 大 数据 的 方式 。 讨 论 的 主题 将 包括 可 视 
化 图 形 界 面 、 单 点 分 析 解 决 方案 、 开 源 工 具 ， 以 及 数据 可 视 化 工具 的 演 
进 。 本 章 也 讲述 了 分 析 专 家 将 如 何 改变 他 们 建 模 的 方法 ， 以 便 更 好 地 利 
用 可 用 资源 。 讨 论 的 主题 包括 组 合 模型 、 简 易 模 型 以 及 文本 分 析 。 

第 三 部 分 “区 驭 大 数据 : 人 和 方法 

第 三 部 分 重点 讨论 轨 驭 大 数据 的 人 和 他 们 所 属 的 团队 ， 以 及 确保 他 
们 能 够 提供 优质 分 析 的 方法 。 如 何 提供 优质 的 分 析 ， 包 括 大 数据 分 机 ， 
其 关键 因素 是 找到 合适 的 人 来 掌舵 ， 并 且 他 们 能 够 遵循 正确 的 分 析 原 
则 。 该 完 这 3 章 后 ， 读 者 将 了 解 优质 分 析 、 优 秀 的 分 析 专 家 和 分 析 团 队 
的 特质 。 

第 7 瘟 ” 如 何 提供 优质 分 析 

计算 统计 结果 、 撰 写 报告 、 使 用 建 模 算 法 仅仅 是 实现 优质 分 析 众 多 
步 骤 中 的 几 步 。 本 章 首 先 曾 述 了 一 些 定义 ， 然 后 讨论 了 一 系列 关于 如 何 
创建 优质 分 析 的 主题 。 大 数据 给 企业 带 来 了 从 未 处 理 过 的 复杂 数据 组 
合 ， 将 本 章 讨 论 的 原则 牢记 在 心 对 驾 台 大 数据 非常 关键 。 

第 8 蔓 ” 如 何 成 为 优秀 的 分 析 专 家 

数学 、 统 计 学 以 及 编程 方面 的 能 力 是 必要 的 ， 但 对 于 一 个 优秀 的 分 
析 专 家 来 说， 仅仅 具备 这 些 技能 还 不 够 。 优 秀 的 分 析 专 家 还 需要 具备 大 
多 数 人 通 营 不 会 首先 具备 的 特质 。 这 些 特 质 包 括 承诺 、 创 造 力 、 商 业 头 
脑 、 演 讲 能 力 与 沟通 技巧 以 及 直觉 。 本 章 将 探讨 在 寻找 一 个 优秀 的 分 析 
专家 时 ， 这 些 特 质 为 什么 非常 重要 且 不 能 被 忽视 。 

第 9 半 ”如 何 打造 优秀 的 分 析 团 队 

企业 如 何 打造 一 个 高 级 分 析 团 队 ， 并 使 其 发 挥 最 优 效 果 ? 把 他 们 放 
在 企业 的 什么 位 置 最 合适 ? 这 些 团队 如 何 运转 ? 谁 来 创建 高 级 分 析 ? 本 
章 将 讨论 建立 一 个 优秀 的 分 析 团 队 时 必须 考虑 的 一 些 常见 挑战 和 原则 。 

第 四 部 分 “人 整合: 分 析 文 化 
































第 四 部 分 将 介绍 一 些 著 名 的 基本 原则 ， 企 业 想 利用 高 级 分 析 和 大 数 
据 进 行 成 功 创新 必须 遵循 这 些 原则 。 尽 管 这 些 原 则 也 被 广泛 地 应 用 于 其 
他 领域 ， 但 我 们 的 焦点 和 视角 是 这 些 原 则 将 要 如 何 应 用 于 当前 企业 环境 
的 高 级 分 析 中 。 读 者 可 能 已 经 比较 熟悉 所 涉及 的 这 些 概念 ， 但 是 对 于 如 
何 将 它们 应 用 到 高 级 分 析 和 大 数据 中 ， 也 许 还 是 很 陌生 的 。 

第 10 章 ”促进 分 析 创 新 

本 章 从 回顾 一 些 成 功 创新 背后 的 基本 原则 开始 ， 然 后 通过 分 析 创 新 
中 心 的 概念 ， 将 它们 应 用 到 大 数据 和 高 级 分 析 中 。 我 们 的 目标 是 能 够 让 
读者 清楚 地 理解 如 何在 企业 中 更 好 地 促进 分 析 创 新 ， 并 驾驭 大 数据 。 

第 11 章 ”营造 创新 和 探索 的 文化 氛围 

本 章 将 介绍 如 何 营造 创新 和 探索 的 文化 氛围 作为 本 书 的 结尾 。 本 章 
的 文字 有 趣 而 轻松 ， 并 给 如 何 营 造 出 有 利于 促进 创新 分 析 的 文化 氛围 留 
出 了 一 些 思考 空间 。 这 些 涉 及 的 原则 被 广泛 地 讨论 ， 并 被 大 家 熟知 。 但 
是 ， 这 些 原则 仍然 值得 回顾 ， 并 且 需 要 思考 企业 如 何 将 这 些 确立 的 原则 
应 用 到 大 数据 和 高 级 分 析 中 。 














第 一 部 分 


大 数据 的 兴起 





第 1 音 
什么 是 大 数据 ， 大 数据 为 什么 重要 


在 未 来 几 年 中 ， 各 种 新 的 、 强 大 的 数据 源 会 持续 爆炸 式 地 增长 ， 它 
们 将 会 对 高 级 分 析 产 生 巨 大 的 影响 。 例 如 ， 仅 仅 依 靠 人 口 统计 学 和 销售 
历史 来 分 析 顾 客 的 时 代 已 经 成 为 了 历史 。 事 实 上 ， 每 一 个 行业 中 ， 都 将 
出 现 或 者 已 经 出 现 了 至 少 一 种 轩 新 的 数据 源 。 其 中 一 些 数 据 源 被 广 泛 应 
用 于 各 个 行业 ， 而 另外 一 些 数据 源 则 只 对 很 小 一 部 分 行业 和 市 场 具有 重 

意义 。 这 些 数据 源 都 涉及 了 一 个 新 术语 ， 该 术语 受到 人 们 越 来 越 多 的 
议论 ， 这 个 术语 便 是 一 一 大 数据 。 

大 数据 如 雨 后 春 敌 和 矶 地 出 现在 各 行 各 业 中 ， 如 果 能 够 适当 地 使 用 大 
数据 ， 将 可 以 扩大 企业 的 竞争 优势 。 如 果 一 个 企业 忽视 了 大 数据 ， 这 将 
会 为 其 带 来 风险 ， 并 导致 在 竞争 中 渐渐 落后 。 为 了 保持 竞争 力 ， 企 业 必 
须 积极 地 去 收集 和 分 析 这 些 新 的 数据 源 ， 并 深入 了 解 这 些 新 数据 源 市 来 
的 新 信息 。 专 业 的 分 析 人 士 将 有 很 多 的 工作 要 做 ! 将 大 数据 和 其 他 已 经 
被 分 析 了 多 年 的 数据 结合 在 一 起 ， 并 不 是 一 件 容 易 的 事情 。 

本 章 首先 介 绍 了 大 数据 的 背景 、 它 的 作用 ， 然 后 从 企业 如 何 利用 大 
数据 的 角度 做 了 大 量 介绍 。 如 宁 读 者 想 要 成 功 驾 驭 大 数据 当 测 ， 那 么 在 
理解 本 书 其 他 部 分 的 同时 ， 需 要 更 深刻 地 理解 本 章 内 容 。 


1.1 什么 是 大 数据 


关于 大 数据 ， 业 界 并 没有 一 个 统一 的 定义 ， 但 却 有 几 个 一 致 的 观 
点 。 有 两 份 资料 很 好 地 诠释 了 大 数据 的 本 质 。 第 一 个 定义 来 自 于 Gartner 
公司 的 Merv Adrian 在 2011 年 第 一 季度 刊登 在 《Teradata Magazine》 上 的 
一 篇 文章 。 他 说 , “大 数据 超出 了 常用 硬件 环境 和 软件 工具 在 可 接受 的 




















时 间 内 为 其 用 户 收集 、 管 理 和 人 处理 数 据 的 能 力 。”- 另 一 个 定义 来 自 
于 麦肯锡 全 球 数据 分 析 研 究 所 (Mckinsey Global Institute〉 在 2011 年 5 月 
发 表 的 一 篇 论文 :“ 大 数据 是 指 大 小 超出 了 典型 数据 库 软件 工具 收集 、 
存储 、 管 理 和 分 析 能 力 的 数据 集 。”- 2 

这 些 定义 暗示 着 大 数据 的 界定 会 随 着 技术 的 进步 而 变化 。 以 往 的 大 
数据 或 今天 的 大 数据 ， 在 明天 将 不 再 是 大 数据 。 大 数据 的 这 个 定义 会 使 
有 些 人 感到 不 安 。 前 面 的 定义 又 暗示 着 大 数据 的 界定 会 随 着 行业 甚至 企 
业 的 不 同 而 不 同 ， 因 为 它们 所 用 工具 和 技术 的 处 理 能 力 可 能 大 相 径 庭 。 
我 们 将 在 本 章 的 “今天 的 大 数据 将 不 再 是 明天 的 大 数据 ”一 节 中 对 此 展开 
更 详细 的 讨论 。 

麦肯锡 的 论文 中 列举 了 一 些 有 趣 的 事实 ， 这 些 事 实 能 够 帮助 读者 认 
识 今天 的 数据 量 是 多 么 庞大 。 

四 ”在 今天 ， 花 600 美 元 可 以 买 下 一 个 存储 了 全 球 所 有 音乐 的 硬盘 。 

曙 ”Facebook 每 个 月 都 会 有 300 亿 条 新 信息 被 分 享 。 

四 ”在 美国 17 大 行业 中 的 15 个 行业 ， 每 个 企业 的 平均 数据 量 都 超过 了 
美国 国会 图 书馆 的 数据 量 。-- 


大 数据 的 “大 ?并 不 仅仅 指 容量 
尽管 大 数据 必然 包含 大 量 的 数据 ， 但 是 大 数据 并 不 仅仅 指数 据 的 容量 。 与 过 去 的 数据 源 相 
比 ， 大 数据 的 速度 例如 ， 数 据 传输 和 接收 的 速度 )、 复 杂 度 以 及 多 样 性 都 有 所 增加 。 

































































大 数据 并 不 是 仅仅 指数 据 的 容量 即 数据 量 的 大 小 。 根 据 Gartner 
Group 公司 的 定义 ， 大 数据 的 “大 ”也 涉及 大 数据 源 的 其 他 特征 。- 生 这 
些 特 征 不 仅仅 包括 不 断 增 加 的 容量 ， 还 包括 不 断 增 加 的 速度 和 多 样 性 。 
当然 ， 这 些 因 素 也 导致 了 额外 的 复杂 度 。 这 意味 痢 当 你 在 处 理 大 数据 
时 ， 你 并 不 仅仅 是 拿 到 了 一 堆 数据 而 已 。 大 数据 正在 以 复杂 的 格式 ， 从 
不 同 的 数据 源 高 速 地 朝 你 奔涌 而 来 。 

















所 以 ， 不 难 理解 为 什么 我 们 要 用 滔 测 来 比喻 涌 癌 我 们 的 大 数据 ， 以 
及 为 什么 驾驭 它们 是 一 个 挑战 ! 企业 的 分 析 技 术 、 流 程 和 系统 已 经 接近 
或 者 超越 处 理 的 极限 了 。 我 们 必须 利用 最 新 的 技术 和 方法 开发 更 多 的 分 
析 技 术 和 流程 ， 从 而 更 加 有 效 地 分 析 和 处 理 大 数据 。 在 本 书 中 ， 我 们 将 
讨论 所 有 这 些 主题 ， 论 证 为 什么 驾驭 大 数据 所 付出 的 努力 是 值得 的 。 


1.2 大 数据 中 的 “大 ”和 “数据 ”哪个 更 重要 


现在 让 我 们 先 做 一 个 小 测验 ! 在 你 继续 阅读 之 前 ， 请 先 停 下 片刻 ， 
并 思考 这 个 问题 : 术语 “大 数据 ?中 ， 哪 部 分 是 最 重要 的 ? 是 
(1) “大 ” (2) “数据 "”， (3) 二 者 同等 重要 ， 还 是 (4) 都 不 重要 ? 
请 花 一 分 钟 时 间 来 思考 这 个 问题 ， 如 果 你 已 经 锁定 了 自己 的 答案 ， 请 继 
续 阅 读 后 面 的 内 容 。 同 时 ， 想 象 一 下 正在 播放 着 “参赛 者 正在 思考 ”音乐 
的 游戏 节目 场景 。 

好 了 ， 既 然 你 已 经 锁定 了 答案 ， 让 我 们 来 看 一 下 它 是 否 正 确 。 这 个 
问题 的 答案 应 该 选 〈4) ， 其 实 “ 大 ”和 “数据 ”都 不 是 大 数据 中 最 重要 
的 。 根 本 而 言 ， 最 重要 的 应 该 是 企业 如 何 来 驾驶 这 些 大 数据 。 你 的 企业 
对 大 数据 进行 的 分 析 ， 以 及 随 之 采取 的 业务 改进 措施 才 是 最 重要 的 。 

无 论 如 何 ， 拥 有 大 量 的 数据 本 里 并 不 会 增加 任何 价值 。 也 许 你 拥有 
的 数据 比 我 拥有 的 数据 多 ， 可 那 义 如 何 ? 事实 上 ， 拥 有 任何 一 个 数据 
集 ， 无 论 它 们 多 大 或 者 多 小 ， 其 自 号 都 不 会 市 来 任何 价值 。 被 收集 来 的 
数据 如 果 从 不 使 用 ， 不 会 比 存放 在 阁楼 或 地 下 室 的 垃圾 更 有 价值 。 如 果 
不 投入 具体 的 环境 中 并 付 诸 使 用 ， 数 据 将 坚 无 意义 。 对 于 任何 大 量 或 少 
量 的 大 数据 ， 大 数据 的 威力 体现 在 如 何 处 理 这 些 数据 上 。 如 何 分 析 这 些 
数据 ? 基于 这 些 洞察 又 将 采取 怎样 的 行动 ? 如何 利 用 这 些 数据 来 改变 业 
如 ?2 

或 许 因为 恋 了 很 多 炒作 大 数据 的 文章 ， 很 多 人 开始 相信 正 是 由 于 大 























数据 的 大 容量 、 高 速 和 多 样 性 ， 才 使 得 它们 比 其 他 数据 更 具有 优势 且 更 
重要 。 但 这 并 不 正确 。 正 如 我 们 将 在 本 章 后 面 “ 绝 大 多 数 大 数据 并 不 重 
要 ”一 节 中 所 讨论 的 ， 在 很 多 大 数据 中 ， 军 无 价值 或 者 价值 很 小 的 内 容 
所 占 的 比例 要 比 以 往 数据 源 中 高 得 多 。 当 你 把 大 数据 精简 全 实际 需要 的 
容量 时 ， 它 们 将 不 再 显得 如 此 庞大 。 但 这 并 不 重要 ， 因 为 不 管 它 是 保持 
原始 大 小 ， 还 是 被 处 理 后 变 得 很 小 ， 容 量 并 不 重要 ， 重 要 的 是 如 何 处 理 
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书 。 

















重要 的 不 是 它 的 容量 ， 而 是 你 如 何 使 用 它 ! 

当然 ， 我 们 正在 谈论 的 是 大 数据 ! 我 们 并 不 关注 大 数据 的 数据 量 很 大 这 样 的 事实 ， 也 不 关注 
大 数据 确实 会 带 来 很 多 内 在 价值 的 事实 。 这 些 价值 体现 在 你 如 何 分 析 它们 ， 并 采取 怎样 的 措施 
来 提升 你 的 业务 。 


























当 我 们 开始 阅读 本 书 时 ， 第 一 个 关键 点 是 要 记 住 大 数据 的 数据 量 很 
大 ， 而 且 大 数据 是 数据 。 然 而 ， 这 并 不 是 使 你 和 你 的 企业 为 之 兴奋 的 原 
因 。 令 人 激动 的 部 分 在 于 ， 使 用 这 些 数 据 时 采用 的 所 有 新 的 、 强 大 的 分 
析 方 法 。 后 边 我 们 将 讨论 到 大 量 全 新 的 分 析 方 法 。 


1.3 ”大 数据 有 何不 同 


大 数据 具有 一 些 区 别 于 传统 数据 源 的 重要 特征 。 并 非 每 个 大 数据 源 
都 具备 所 有 这 些 特征 ， 但 是 大 多 数 大 数据 源 都 会 具备 其 中 的 一 些 特征 。 
首先 ， 大 数据 通常 是 由 机 器 上 自动 生成 的 。 在 新 数据 的 产生 过 程 中 ， 
并 不 会 涉及 人 工 参 与 ， 它 们 完全 由 机 器 上 自动 生成 。 如 果 你 分 析 一 下 传统 
的 数据 源 ， 它 们 通 秆 会 涉及 人 工 的 因素 。 例 如 ， 零 售 业 和 银行 区 易 、 电 
话 呼叫 的 详细 记录 、 产 品 出 货 ， 或 是 发 票 付 葡 。 以 上 这 些 都 会 涉及 东 个 
人 做 荣 些 事情 ， 从 而 记录 或 生成 一 些 数据 。 有 人 需要 储蓄 ， 有 人 需要 采 

















购 ， 还 有 人 需要 打 电 话 、 发 货 和 进行 文 付 等 。 在 每 种 情形 中 ， 总 有 一 个 
人 参与 到 新 数据 的 生成 流程 中 。 在 很 多 情况 下 ， 大 数据 并 不 是 这 样 产 生 
的 。 大 量 大 数据 源 的 产生 根本 不 涉及 与 人 的 互动 。 例 如 ， 引 擎 中 内 置 的 
传 感 希 ， 即 使 没有 人 触摸 或 下 达 指 令 ， 它 也 会 自动 地 生成 关于 周围 环境 
的 数据 。 

其 次 ， 大 数据 通常 是 一 种 全 新 的 数据 源 ， 并 非 仅 仅 是 对 已 有 数据 的 
扩展 收集 。 例 如 ， 通 过 使 用 互联 网 ， 顾 客 可 以 与 银行 或 零售 商 进 行 在 线 
人 交易。 然而， 这 些 交 易 和 传统 的 交易 方式 并 没有 本 质 上 的 差别 ， 顾 客 仅 
仅 是 通过 一 种 不 同 的 渠道 进行 交易 。 企 业 可 以 收集 网 络 交 易 数 据 ， 但 是 
同 他 们 多 年 来 拥有 的 传统 交易 数据 相 比 ， 这 些 数据 仅仅 是 数量 更 多 的 相 
同类 型 数据 而 已 。 然 而 ， 对 顾客 在 进行 交易 时 的 浏览 行为 进行 收集 ， 却 
产生 了 一 种 本 质 上 全 新 的 数据 ， 我 们 将 在 第 2 章 中 对 这 类 数据 进行 详细 
的 讨论 。 

有 时 , “数量 更 多 的 相同 类 型 数据 ?也 可 以 达到 另 一 个 极端 ， 从 而 变 
成 一 种 新 的 数据 。 例 如 ， 或 许 很 多 年 来 都 是 人 工 方式 读 取 你 的 电表 。 可 
以 这 样 说 ， 一 个 每 隅 15 分 钟 自 动 读 取 用 电 数 据 的 智能 电表 所 产生 的 仅仅 
征 更 多 “相同 类型 的 数据 ?。 然 和 而， 我 们 也 有 理由 认为 这 种 “数量 更 多 的 
相同 类 型 数据 ”已 经 不 同 于 以 前 人 工读 取 的 数据 ， 因 为 它 可 以 使 用 一 种 
全 新 的 、 更 深层 次 的 分 析 ， 所 以 它 确 实 是 一 种 新 数据 源 。 我 们 将 在 第 3 
章 讨 论 这 种 数据 源 。 

再 次 ， 很 多 大 数据 源 的 设计 并 不 友好 。 事 实 上 ， 一 些 数据 源 根本 没 
有 被 设计 过 ! 以 社交 媒体 网 站 上 的 文本 流 为 例 ， 我 们 不 可 能 要 求 用 户 使 
用 一 定 标准 的 语法 、 语 序 或 是 词汇 表 。 当 人 们 发 布 信息 时 ， 你 可 以 获得 
这 些 数 据 。 处 理 这 些 时 而 规范 ， 时 而 丑陋 的 数据 是 非常 困难 的 事情 。 我 
们 将 在 第 3 草 和 第 6 章 中 讨论 文本 数据 。 大 多 数 传统 数据 源 在 设计 之 初 都 
会 尽量 使 其 友好 。 例 如 ， 用 于 收集 交易 信息 的 系统 通常 会 以 整洁 的 、 预 
先 规范 好 的 模板 方式 来 生成 数据 ， 以 确保 数据 容易 被 加 载 和 使 用 。 部 分 


















































原因 在 于 曾经 对 空间 局 效 利 用 的 需求 ， 以 前 并 没有 空间 记录 其 他 的 繁 文 
钴 节 。 


大 数据 可 能 是 凌乱 而 丑陋 的 
传统 数据 源 通常 在 最 开始 就 被 严格 地 定义 。 数 据 的 每 一 个 比特 都 有 重要 的 价值 ， 否 则 就 不 会 
包含 这 个 数据 比特 。 随 着 存储 空间 的 开销 变 得 微乎其微 ， 大 数据 源 在 最 开始 通常 不 会 被 严格 地 
定义 ， 而 是 去 收集 所 有 可 能 使 用 到 的 各 种 信息 。 因 此 ， 在 分 析 大 数据 时 ， 可 能 会 遇 到 各 种 杂乱 
无 章 、 充 斥 着 垃圾 的 数据 。 






























































最 后 ， 大 量 数 据 可 能 并 不 缠 含 大 量 的 价值 。 事 实 上 ， 大 部 分 数据 其 
至 坚 无 价值 。 一 访 网 页 日 志 中 会 含有 非常 重要 的 数据 ， 但 其 中 也 包含 了 
很 多 根本 没有 价值 的 数据 。 对 其 进行 提炼 ， 从 而 保留 有 价值 的 部 分 是 非 
常 必要 的 。 传 统 数 据 源 在 定义 之 初 ， 束 补 要 求 所 有 的 数据 要 百分之百 有 
用 。 这 主要 是 由 于 当时 可 扩展 性 的 限制 ， 在 数据 中 包含 一 些 不 重要 信息 
的 代价 是 非常 昂 贯 的 。 不 仅 数据 记录 的 格式 被 预先 定义 过 了 ， 而 且 数 据 
中 的 每 一 部 分 都 包含 了 重要 价值 。 而 如 今 ， 存 储 空 间 已 不 再 是 主要 的 瓶 
颈 。 因 此 ， 大 数据 会 默认 收集 所 有 可 能 使 用 到 的 信息 ， 后 面 再 去 考 夸 这 
种 做 法 可 能 带 来 的 抹 焕 。 这 样 可 以 保证 所 有 信息 都 不 会 被 遗漏 ， 但 同时 
也 导致 了 分 析 大 数据 变 得 更 加 棘手 和 令 人 头痛 。 


大 数据 为 何 是 数量 更 多 的 、 相 同类 型 的 传统 
数据 


作为 一 个 获得 了 大 量 关 注 的 新 热点 ， 各 种 关于 大 数据 的 言论 接 中 而 
至 : 大 数据 如 何 从 根本 上 改变 完成 分 机 和 使 用 大 数据 的 方法 。 如 宁 伦 一 
些 时 间 去 思考 这 个 问题 ， 你 会 及 现 事实 并 不 是 这 样 的 。 这 又 是 一 个 被 炒 
作 得 远离 了 事实 的 例子 。 


























大 数据 的 庞大 和 它们 所 提出 的 可 扩展 性 问题 并 不 是 一 个 新 话题 。 大 
多 数 新 数据 产 在 第 一 次 使 用 时 都 会 被 认为 是 庞大 而 难以 使 用 的 。 大 数据 
仅仅 是 又 一 波 新 的 、 更 大 的 、 突 破 了 当前 极限 的 数据 。 分 析 专 家 能 够 轰 
驭 传统 的 数据 源 ， 虽 然 存在 瓶 天 限 制 ， 他 也 将 能 够 驾驭 大 数据 源 。 毕 葛 
一 直 以 来 ， 分 析 专 家 都 在 积极 努力 地 探索 新 的 数据 源 ， 并 将 继续 探索 下 
2 

谁 是 第 一 个 开始 在 电信 公司 中 分 析 电 话 详 细 记 录 的 人 ? 正 是 分 析 专 
家 。 我 的 第 一 份 工 作 是 做 大 型 机 磁带 的 客户 流失 分 析 。 在 当时 ， 该 分 析 
的 数据 量 是 令 人 难以 置信 的 。 谁 是 第 一 个 深入 研究 零售 点 销售 数据 并 找 
出 其 中 价值 的 人 ? 是 分 析 专 家 。 起 初 ， 分 析 几 王 个 丙 店 中 几 万 到 几 十 万 
个 商品 的 数据 被 认为 是 一 个 大 难题 。 而 如 今 ， 这 已 经 不 再 是 什么 难题 。 

最 早 涉足 这 些 数据 源 的 分 析 专 家 在 当时 都 会 被 认为 是 在 处 理 无 法 想 
象 的 大 量 数据 。 他 们 必须 找 出 在 当时 的 瓶颈 下 分 析 和 利用 这 些 数 据 的 方 
法 。 很 多 人 怀疑 其 可 行 性 ， 还 有 些 人 甚至 质疑 这 些 数据 是 否 真 的 有 价 
值 。 这 听 起 来 很 像 是 今天 大 数据 的 情形 ， 难 道 不 是 吗 ? 

大 数据 并 不 会 改变 分 析 专 家 们 正在 努力 做 的 事情 和 他 们 这 样 做 的 原 
因 。 即 使 有 些 人 开始 目 称 为 数据 科学 家 而 非 分 析 专 家 ， 他 们 的 目标 其 实 
还 是 一 样 的 。 这 些 待 解决 的 问题 必然 会 涉及 大 数据 ， 这 和 以 前 的 情景 没 
什么 两 样 。 最 终 ， 就 像 他 们 一 直 以 来 所 做 的 事情 ， 分 析 专 家 和 数据 科学 
家 们 还 是 会 去 探索 新 的 、 无 法 想象 的 庞大 数据 集 ， 以 发 现 一 些 有 价值 的 
趋势 和 模式 。 在 本 书 中 ， 我 们 会 将 传统 分 析 专 家 和 数据 科学 家 统一 称 
为 “分 析 专 家 ”。 我 们 将 在 第 7、8、9 章 更 详细 地 讨论 这 些 专家 。 在 这 里 
要 强调 的 是 ， 大 数据 虽然 听 起 来 很 陌生 ， 但 是 对 我 们 来 说 ， 它 带 来 的 挑 
战 其 实 并 不 陌生 。 


你 没有 什么 可 其 惧 的 
从 很 多 方面 来 讲 ， 大 数据 并 没有 产生 任何 你 的 企业 从 未 遇 到 过 的 问题 。 在 数据 分 析 的 世界 
































里 ， 驾 驭 新 的 、 突 破 了 当前 可 扩展 性 极限 的 大 数据 源 是 永恒 的 主题 。 大 数据 仅仅 是 下 一 代 的 此 
类 数据 而 已 。 分 析 师 对 于 处 理 这 些 状况 已 经 非常 熟悉 了 了。 如 果 你 的 企业 曾经 驾驭 过 其 他 数据 ， 
那么 它 同 样 可 以 驾驭 大 数据 。 





























大 数据 会 改变 分 析 专 家 的 一 些 工作 策略 。 为 了 更 有 效 地 处 理 大 数据 
流 ， 需 要 将 新 的 工具 、 方 法 、 技 术 和 传统 的 分 析 工 具 结合 起 来 。 想 要 从 
原始 大 数据 流 中 提炼 出 有 用 信息 ， 需 要 开发 复 洒 的 过 滤 算 法 。 同 时 ， 建 
模 和 预测 流程 也 需要 更 新 ， 我 们 需要 将 大 数据 输入 添加 到 现 有 输入 中 。 
我 们 将 在 第 4、5、6 章 更 多 地 讨论 这 些 话题 。 

工作 策略 的 转变 并 不 会 从 根本 上 改变 分 析 的 目标 和 流程 。 大 数据 必 
将 催生 出 新 的 、 创 新 性 的 分 析 方 法 ， 并 且 促 使 分 析 专 家 们 继续 在 扩展 性 
的 瓶 令 下 进行 革新 。 然 而 ， 对 大 数据 的 处 理 不 会 和 分 析 专 家 们 以 前 所 做 
的 事情 有 太 大 差别 。 他 们 已 经 准备 好 了 迎接 这 个 挑战 。 


1.5 大 数据 的 风险 


大 数据 会 带 来 一 些 风 险 。 其 中 一 个 风险 是 企业 可 能 会 被 大 数据 压 得 
不 卉 重负 ， 从 而 停 沛 不 前 。 正 如 我 们 将 在 第 8 章 中 讨论 的 ， 关 键 是 要 有 
合适 的 掌舵 人 来 保证 这 些 不 会 发 生 。 你 需要 这 些 党 能 人 去 征服 大 数据 ， 
并 处 理 各 种 问题 。 有 了 他 们 来 处 理 问题 ， 企 业 可 以 避免 陷入 泥沼 而 无 法 
前 行 。 

为 一 个 风险 是 当 收 集 如 此 庞大 的 大 数据 时 ， 其 成 本 的 增长 速度 会 快 
到 令 企业 措手不及 。 和 处 理 其 他 事物 的 方法 一 样 ， 避 免 这 种 情况 出 现 的 
方法 是 要 保证 以 适当 的 步伐 前 进 ， 使 得 企业 能 够 及 时 跟 上 。 没 有 必要 从 
明天 开始 行动 ， 一 条 不 漏 地 收集 所 有 的 新 数据 。 而 应 当 立 即 去 做 的 是 ， 
开始 收集 一 些 新 数据 源 的 样本 并 试图 了 解 它们 。 可 以 使 用 这 些 初始 样本 
进行 一 些 实 验 分 析 ， 从 而 弄 清 楚 数 据 源 中 哪些 数据 是 重要 的 ， 以 及 如 何 











使 用 它们 。 以 样本 数据 为 基础 ， 企 业已 经 做 好 了 有 效 地 处 理 更 大 规模 数 
据 源 的 准备 。 

对 于 很 多 大 数据 源 ， 其 最 大 的 风险 或 许 是 隐私 。 如 果 世 界 上 的 每 个 
人 都 是 善 民 和 诚实 的 ， 那 么 我 们 束 没 有 必要 去 担心 隐私 问题 了 。 但 不 是 
每 个 人 都 是 善 恨 和 诚实 的 。 事 实 上 ， 进 一 步 讲 ， 还 有 很 多 并 不 善良 和 诚 
实 的 公司 ， 其 至 有 的 政府 机 构 部 不 普 良 和 诚实 。 这 使 得 大 数据 存在 一 些 
潜在 的 风险 。 在 处 理 大 数据 时 ， 必 须 考虑 到 隐私 问题 ， 人 否则 就 无 法 完全 
发 挥 其 潜能 。 如 果 没 有 适当 的 限制 ， 大 数据 有 可 能 会 激 友 一 股 抗议 风 
潮 ， 以 至 于 可 能 会 被 完全 茶 止 。 

回想 一 下 最 近 受 到 广泛 关注 的 一 些 安全 性 事件 ， 例 如 ， 信 用 卡 卡号 
和 政府 机 密 文 件 被 贸 取 并 发 布 在 网 上 的 泄密 事件 。 因 此 毫 不 夸张 地 说 ， 
如 果 把 数据 储存 在 那里 ， 总 会 有 人 试图 去 偷 取 它 。 一 旦 坏人 拿 到 了 这 些 
数据 ， 他 们 一 定 会 利用 这 些 数据 去 做 坏事 。 已 经 有 过 几 起 倍 受 瞩 目的 案 
件 ， 一些 大 公司 由 于 其 含糊 不 明 的 隐私 政策 而 陷入 麻烦 之 中 。 由 于 数据 
是 以 一 种 顾客 不 知情 、 不 支持 的 方式 被 使 用 的 ， 因 此 会 产生 冲突 。 随 着 
大 数据 的 爆炸 式 增长 ， 必 须 同时 对 其 使 用 自我 约束 和 施加 法 律 约束 。 

自我 约束 非常 关键 ， 毕 竟 它 表明 了 行业 对 隐私 保护 的 关注 程度 。 每 
个 行业 都 应 该 对 目 喘 进行 约束 ， 并 且 制 定 一 些 所 有 人 都 要 送 守 的 法 则 。 
目 愿 接 受 的 法 则 通 第 要 比 政府 机 构 参与 制定 的 法 规 效 果 更 好 一 些 ， 但 约 
束 力 要 更 差 一 些 ， 这 是 因为 行业 并 不 普 于 约束 上 自身 。 


隐私 是 大 数据 的 一 个 大 问题 
在 大 数据 源 的 众多 敏感 特性 中 ， 隐 私 一 直 是 一 个 焦点 。 一 旦 数据 放 在 那里 ， 总 有 些 不 诚实 的 
人 会 在 未 得 到 你 授权 的 情况 下 ， 试 图 以 未 经 你 批准 的 方式 使 用 它们 。 对 于 大 数据 的 处 理 、 存 储 
和 应 用 ， 需 要 有 相应 的 政 集 和 协议 与 当前 的 分 析 能 力 匹 配 。 确 保 在 制订 公司 的 隐私 集 略 时 考虑 
周全 ， 以 保证 你 的 做 法 完全 清白 和 透明 。 




























































































人 们 已 经 开始 担忧 他 们 的 网 页 浏览 历史 是 如 何 被 跟踪 到 的 。 同 样 还 
有 很 多 担忧 是 关于 通过 手机 应 用 和 GPS 系统 跟踪 个 人 位 置 和 操作 行为 
的 。 恶 意 使 用 大 数据 是 完全 有 可 能 的 ， 而 一 旦 其 成 为 可 能 ， 便 总 会 有 人 
去 和 尝试。 因此， 需要 采取 必要 措施 以 防止 这 种 事情 的 有 发生。 企业 需要 证 
清 它 们 是 如 何 保证 数据 安全 的 ， 并 且 如 果 用 户 同 意 其 数据 被 收集 和 分 
析 ， 它 们 将 如 何 使 用 这 些 数 据 。 


1.6 ”你 为 什么 需要 区 驭 大 数据 


目前 为 止 ， 很 多 企业 在 大 数据 上 所 做 的 事情 还 非常 少 。 幸 运 的 是 ， 
在 2012 年 ， 如 果 你 的 企业 还 没 重 视 大 数据 ， 你 们 落后 得 还 不 算 很 远 ， 除 
非 你 是 在 电子 商务 这 样 的 行业 在 这 些 行业 中 ， 大 数据 分 析 已 经 被 标准 
化 了 ) 。 然 而 ， 随 看 势头 的 飞快 增长 ， 这 种 情况 会 很 快 改变 。 运 今 为 
止 ， 大 部 分 企业 所 错过 的 仅仅 是 做 领导 者 的 机 会 。 事 实 上 ， 这 对 于 很 多 
企业 来 说 并 不 是 什么 问题 。 今 天 ， 它 们 仍 有 机 会 迎头 赶 上 。 然 而 再 过 几 
年 ， 如 果 一 家 企业 还 没有 分 析 大 数据 ， 那 么 它 在 这 场 游戏 中 将 很 难 再 赶 
上 别 的 企业 。 罗 驭 大 数据 最 好 的 时 机 正 是 现在 ! 

一 家 企业 完全 可 以 借助 新 的 数据 源 来 获取 业务 价值 ， 而 其 竞争 对 于 
却 没 有 做 同样 的 事情 ， 这 种 情况 并 不 币 见 。 这 是 如 今 大 数据 所 带 来 的 巨 
大 商机， 你 将 有 机 会 超过 你 的 竞争 对 手 并 击败 它们 。 在 未 来 几 年 内 ， 我 
们 将 会 继续 看 到 通过 大 数据 分 析 进 行 成 功业 务 转型 的 案例 。 你 将 会 从 很 
多 案例 分 析 中 看 到 ， 竞 争 对 手 是 如 何 和 被 狂 不 及 防 地 抛 进 历史 的 尘埃 中 。 
在 很 多 文章 、 会 议 以 及 其 他 的 讨论 中 ， 已 丝 有 很 多 此 类 案例 引 人 瞩 目 。 
一 些 案例 正 是 来 自 于 行业 中 那些 迟钝 、 落 后 以 及 守旧 的 企业 。 在 电子 商 
务 这 样 新 兴 而 火爆 的 行业 中 ， 情 况 则 完全 两 样 。 在 第 2 草 和 第 3 章 中， 我 
们 将 会 看 到 很 多 如 何 使 用 大 数据 的 案例 。 























现在 正 是 时 候 ! 

你 的 企业 需要 从 现在 开始 轨 驭 大 数据 。 如 果 人 迄今 为 止 ， 你 一 直 都 在 忽视 大 数据 ， 那 么 你 所 错 
过 的 只 是 当 领 导 者 的 机 会 ， 你 仍 有 机 会 可 以 迎头 赶 上 。 再 过 几 年 ， 如 果 你 还 在 袖 手 劳 观 ， 那 么 
你 将 会 被 淘汰 。 如 果 你 的 企业 已 经 开始 着 手 收集 数据 ， 并 通过 分 析 进 行 决策 ， 那 么 对 于 你 们 来 
说 ， 跟 上 大 数据 的 步伐 并 不 是 一 件 夸 张 的 事情 。 处 理 大 数据 仅仅 是 你 现在 所 做 事情 的 简单 延 
伸 。 

















































































































事实 上 ， 下 决心 开始 驾驭 大 数据 并 不 是 一 件 困 难 的 事情 。 大 多 数 企 
业已 经 开始 着 手 收 集 和 分 析 数 据 ， 并 将 其 作为 其 战略 的 核心 部 分 。 数 据 
仓库 、 报 表 和 分 析 已 经 开始 普及 。 一 家 企业 一 旦 开始 认识 到 数据 的 价 
值 ， 那 么 驾驭 和 分 析 大 数据 仅仅 是 它们 现 有 工作 的 扩展 和 延伸 。 不 要 轻 
信和 怀疑 论 者 的 言论 大 数据 不 值得 探索 ， 它 们 没有 得 到 验证 ， 它 们 风险 
太 大 等 。 在 过 去 的 几 十 年 里 ， 这 些 同样 的 借口 一 直 在 阻挠 大 数据 分 析 的 
进步 。 对 于 那些 对 大 数据 感到 不 确定 或 是 不 安 的 人 ， 要 让 他 们 明白 大 数 
据 仅仅 古 企业 现在 所 做 事情 的 人 简单 延 促 。 大 数据 并 没有 任何 翻天 禾 地 的 
变化 ， 大 数据 没有 什么 让 我 们 可 其 惧 的 。 


1.7 大 数据 的 结构 


当 你 阅读 大 数据 的 相关 文章 时 ， 你 可 能 会 遇 到 很 多 关于 以 下 概念 的 
讨论 ， 数 据 如 何 被 结构 化 、 非 结构 化 、 半 结构 化 ， 甚 至 多 结构 化 。 大 数 
据 通 常 个 描述 为 非 结构 化 的 ， 而 传统 数据 则 是 结构 化 的 。 然 而 它们 之 间 
的 界限 并 不 像 这 些 标签 所 划分 的 那么 清楚 。 让 我 们 以 非 专 家 的 视角 来 探 
讨 这 3 种 数据 类 型 ， 更 局 深 的 技术 细 市 超出 了 本 书 讨 论 的 范畴 。 

绝 大 多 数 传统 数据 都 是 完全 结构 化 的 。 这 意味 着 传统 数据 源 会 以 明 
确 的 、 预 先 规范 好 所 有 细节 的 格式 呈现 。 每 时 每 刻 所 产生 的 新 数据 ， 都 
不 会 违背 这 些 预 先 定义 好 的 格式 。 对 于 股票 交易 ， 其 交易 信息 的 第 一 部 





























分 应 该 是 格式 为 月 份 / 日 期 / 年 份 的 时 间 信 息 ， 接 下 来 的 是 12 位 账户 数 
字 ， 而 下 面 紧 跟 的 是 由 3 到 5 位 字母 表示 的 股票 代码 等 。 每 条 信息 事先 都 
己 很 明确 了 ， 以 规范 好 的 格式 和 顺序 给 出 ， 这 使 得 它们 很 容易 被 处 理 。 

对 于 非 结构 化 的 数据 ， 你 没有 或 几乎 没有 控制 权 ， 你 所 做 的 只 能 是 
接收 它们 。 文 本 数据 、 视 频数 据 、 音 频数 据 都 属于 这 个 范畴 。 每 幅 图 像 
都 是 由 独立 像 系 通过 特定 的 排列 方式 组 合 而 成 的 ， 但 是 像素 组 合成 图 像 
的 方式 却 可 能 千变万化 、 大 相 径 庭 。 确 实 有 很 多 这 样 完 全 非 结 构 化 的 数 
据 。 然而， 对 于 大 部 分 数据 来 说 ， 至 少 部 是 半 结 构 化 的 。 

半 结 构 化 的 数据 具有 可 被 理解 的 逻辑 流程 和 格式 ， 但 这 些 格式 并 不 

是 用 户 友 好 的 。 有 时， 半 结 构 化 数据 也 说 称 为 多 结构 化 数据 。 在 这 类 数 
据 里 ， 有 价值 的 信息 参 杂 在 大 量 噪声 和 无 用 的 数据 中 。 理 解 和 分 析 半 结 
构 化 数据 ， 要 比 理解 和 分 析 规 范 好 文件 格式 的 数据 困难 。 要 理解 半 结 构 
化 的 数据 ， 必 须要 有 一 僚 复 杂 的 规则 ， 在 读 a 到 每 条 信息 后 ， 能 够 动态 地 
决定 随后 的 处 理 方法 。 
网 络 日 志 是 半 结 构 化 数据 的 最 好 例子 。 当 你 看 到 网 络 日 志 时 ， 你 会 
‘得 它们 非常 丑陋 ; 但 是 ， 其 中 每 一 条 信息 都 有 其 特定 的 用 处 。 网 络 日 
志 是 否 提 供 了 对 你 有 用 的 信息 则 是 为 外 一 回 事 。 图 1-1 给 出 了 一 个 原始 
网 络 日 志 的 例子 。 
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Raw Web Log Data 


96 255.99.55 - - [O01/Jun/2010:05:28;07 =0000] ” GET/origin- 

log .enguisite com/d 1s"1d=a1ajaf- 

ly61645&referrer=http://Wwww.google com/search’hl=en&q=budget=planner&aq=5&adi=g 
10&aqgl=&ogq=budset=&es rfai=&location=htips://money.strands com/content/simple- 
and-free-monthly-budget-planner&ua=Mozilla/4,0(compatible, Msie 7 0; Windows NT 6.0; 





SLCC]: .NET CLR 2.0050727: ,NET CLR 3.030618: .NET CLR 3.5.30729. 
Infopath,2)&pc=peys63wOxenlO02in8ms37wka8quxe74eR&sc=erlkto0wmxqgik i wir9p9weh 
byxy8q8saRr=0.07550191624904945 HTTP/}.1 ” 200 380" -“ “ Mozilla/4.0 (compatible: 
MSIE 7.0; wINDOWS nt 6.0; SLCC1; ,NET CLR 2.0,5,727; ,NET CLR 3.0.30618. NET CLR 
3.5.30729; InfoPath.2)””ac=bd76aad174480000679a044cfda00e00Sb130000 ” 




















图 1-1 原始 网 络 日 志 的 例子 





你 的 大 数据 具有 怎样 的 结构 ? 











事实 上 ， 很 多 大 数据 源 都 是 半 结 构 化 或 多 结构 化 的 ， 而 不 是 非 结构 化 的 。 这 些 数据 具有 可 被 
理解 的 逻辑 流程 ， 因 此 可 以 从 它们 中 提取 出 用 于 分 析 的 信息 。 处 理 这 类 数据 不 像 处 理 传统 结构 
化 数据 那么 简单 。 要 轰 驭 半 结 构 化 数据 ， 霸 要 花费 很 多 时 间 ， 并 且 要 努力 才能 找 出 处 理 它 们 的 
最 好 方法 。 


















































































































































网 络 日 志 中 的 信息 都 有 一 定 的 馆 辑 ， 尽 管 第 一 眼看 上 去 可 能 并 不 那 
么 明显 。 日 志 中 有 不 同 的 字段 和 分 隔 符 ， 就 像 结 构 化 的 数据 一 样 ， 其 中 
也 缠 含 着 价值 。 然 而 ， 这 些 元 系 并 没有 按照 固定 的 方式 紧密 地 联系 在 一 
起 。 点 击 一 个 网 站 所 产生 的 日 志文 本 比 起 一 分 钟 前 点 击 另 一 个 网 页 产生 
的 日 志文 本 ， 可 能 更 长 ， 也 可 能 更 短 。 最 后 ， 一 定 要 理解 半 结 构 化 的 数 
据 都 具有 其 内 在 的 逻辑 ， 在 它 的 各 部 分 之 间 建 立 联系 是 完全 可 能 的 。 要 
做 到 这 一 点 ， 需 要 比 处 理 结构 化 数据 付出 更 多 的 努力 。 

对 分 析 专 家 来 说 ， 完 全 非 结构 化 的 数据 要 比 半 结 构 化 数据 更 加 灵 
怖 。 想 要 征服 半 结 构 化 数据 ， 他 们 可 能 需要 付出 一 看 努 力 ， 但 是 他 们 确 
实 可 以 做 到 。 分 析 专 家 们 可 以 将 半 结 构 化 数据 重新 组 织 得 非常 结构 化 ， 
并 将 其 运用 到 他 们 的 分 析 流 程 中 。 然 而 ， 征 服 完全 非 结构 化 的 数据 要 困 
难得 多 ， 即 使 企业 已 经 征服 了 半 结 构 化 的 数据 ， 征 服 非 结构 化 的 数据 对 
他 们 来 说 ， 仍 将 是 一 个 巨大 的 挑战 。 


1.8 ”探索 大 数据 


开始 着 手 处 理 大 数据 并 不 是 一 件 困难 的 事情 。 很 简单 ， 收 集 一 些 大 
数据 ， 让 企业 的 分 析 专 家 团队 开始 探索 这 些 数 据 可 以 提供 些 什么 。 企 业 
没有 必要 一 开始 就 设计 一 个 具备 生产 级 标准 、 持 续 的 数据 输入 系统 。 企 
业 所 要 做 的 仅仅 是 让 分 析 专 家 团队 驳 去 切 吴 接触 那些 数据 ， 然 后 再 开始 
分 析 探 索 工作 。 分 析 专 家 和 数据 科学 家 们 会 逐渐 进入 角色 并 完成 好 他 们 
列 卫 RE 











有 一 个 很 老 的 拇指 法 则 : 数据 分 析 工 作 有 70% 一 80 中 的 时 间 花 在 收 
集 和 准备 数据 上 面 ， 而 仅 有 20% 一 30 站 的 时 间 花 在 分 析 本 身上 。 在 刚 开 
始 处 理 大 数据 时 ， 这 个 比例 估计 会 更 低 。 一 开始 ， 分 析 专 家 可 能 至 少 要 
化 95% 的 时 间 ， 甚 至 儿 乎 100% 的 时 间 去 错 清 楚 茶 一 种 大 数据 源 ， 然 后 
才 会 去 思考 如 何 利 用 这 些 数据 做 更 深层 次 的 分 析 。 

理解 上 述 做 法 是 非常 重要 的 。 弄 清楚 数据 源 的 本 质 是 分 析 流 程 中 最 
重要 的 一 部 分 。 反 复 地 加 载 数据 、 检 查 它 们 的 表现 、 调 整 加 载 过 程 ， 从 
而 选择 能 够 更 好 地 服务 于 目标 的 数据 ， 虽 然 看 起 来 不 那么 吸引 人 、 令 人 
兴奋 ， 但 却 是 全 关 重 要 的 。 如 宋 没有 完成 这 些 步 又 ， 也 就 不 可 能 进入 后 
面 的 分 析 环 节 。 

确定 大 数据 中 有 价值 的 部 分 ， 并 且 确 定 如 何 最 优 而 精确 地 提取 这 些 
部 分 ， 这 一 过 程 非 第 关键 。 可 以 预料 到 这 一 过 程 会 花费 很 多 时 间 ， 但 即 
使 在 它 上 面 花 的 时 间 超 出 了 你 的 预期 ， 也 不 要 感到 诅 形 。 在 并 明白 新 数 
据 源 的 过 程 中 ， 企 业 的 分 析 专 家 和 其 业务 赞助 商 应 该 积极 地 寻找 代价 
小 、 见 效 快 的 方法 。 记 得 要 问 企 业 展 示 一 些 有 价值 的 东西 ， 不 管 这 些 东 
西 是 多 么 的 微不足道 。 这 样 可 以 让 人 们 保持 对 这 一 过 程 的 兴趣 ， 并 帮助 
人 们 理解 所 取得 的 进展 。 一 个 跨 部 门 的 团队 绝 不 能 在 组 建 一 年 之 后 ， 还 
宣称 他 们 仍 在 试图 搞 明 白 如 何 通 过 大 数据 来 做 一 些 事情 。 必 须 能 够 时 不 
时 地 进发 出 一 些 想法 ， 即 使 这 些 点 子 很 小 ， 然 后 迅速 地 采取 一 些 行 动 。 


前 进 过 程 中 产生 的 价值 

搞 明白 如 何 将 大 数据 源 应 用 到 你 的 业务 中 需要 付出 很 多 的 努力 。 企 业 的 分 析 专 家 和 业务 赞助 
商 们 在 工作 过 程 中 ， 应 该 积极 地 寻找 代价 小 、 见 效 快 的 方法 。 这 样 可 以 向 企业 证 明 他 们 所 取得 
的 进展 ， 从 而 继续 为 其 后 面 的 努力 工作 赢得 支持 。 这 些 进展 也 可 以 产生 稳固 的 投资 回报 。 







































































有 一 个 很 好 的 例子 来 自 于 一 个 欧洲 的 零售 商 ， 这 家 公司 想 要 利用 详 
细 的 网 络 日 志 数 据 。 当 通过 一 个 长 期 而 复杂 的 过 程 收集 好 数据 之 后 ， 这 


家 公 ee 简单 的 举措 。 他 们 开始 鉴别 每 个 用 户 所 浏览 过 的 丙 
此 信息 ， 他 们 随后 建立 起 一 个 电子 邮件 系统 ， 癌 离开 网 
ns 但 并 未 购买 该 商品 的 顾客 发 送 电子 邮件 。 这 个 简单 
的 举措 为 这 家 企业 创造 了 巨大 的 利润 。 

除了 采取 其 他 类 似 的 基本 早期 措施 ， 公 司 还 需要 对 收集 和 加 载 网 络 
数据 进行 投资 。 更 重要 的 是 ， 它 们 以 前 并 没有 过 处 理 整 套数 据 流 的 意愿 
和 经 验 。 想 象 一 下 未 来 当 它 们 对 数据 进行 更 深层 次 分 析 后 的 回报 。 正 是 
由 于 这 些 迅 速 而 及 时 的 进展 ， 企 业 里 的 每 个 人 才 乐 意 继续 下 去 ， 
对 数据 进行 的 这 些 早期 举措 中 ， 他 们 已 经 看 到 了 其 强大 的 威力 。 况 
他 们 已 经 为 未 来 的 努力 买 过 单 了 。 


1.9 很 多 大 数据 其 实 并 不 重要 


事实 上 ， 绝 大 多 数 大 数据 都 是 无 关 紧 要 的 。 这 上 听 起 来 必然 很 残酷 ， 
不 是 吗 ? 但 这 并 不 是 我 们 对 大 数据 的 预期 。 正 如 我 们 已 经 讨论 过 的 ， 一 
个 大 数据 流体 现在 容量 、 速 度 、 多 样 性 和 复杂 上 度 等 多 个 方面 。 大 数据 流 
的 很 多 内 容 对 于 某 些 特定 目标 来 说 是 没有 价值 的 ， 而 有 些 内 容 则 没有 任 
何 用 处 。 驾 驶 大 数据 并 不 意味 着 一 定 要 将 所 有 的 水 牢 牢 地 圈 在 游泳 池 
中 。 事 实 更 像 是 通过 一 个 吸管 吸水 : 你 只 需要 把 你 所 需要 的 部 分 吸出 来 
就 可 以 了 ， 剩 下 的 部 分 束 随 它 去 吧 。 

在 一 个 大 数据 流 中 ， 有 些 信息 具有 长 期 的 战略 价值 ， 有 些 信息 只 具 
有 临时 的 战术 价值 ， 而 另外 一 些 信息 则 坚 无 价值 。 要 驭 大 数据 的 关键 部 
分 是 弄 清 楚 不 同 信息 所 属 的 类 别 。 

有 个 例子 能 够 很 好 地 说 明 这 一 点 ， 这 就 是 我 们 将 在 第 3 章 中 讨论 的 无 
线 射 频 标签 (REFID) ， 今 天 很 多 产品 在 运输 时 都 会 在 运 货 箱 上 打上 这 
种 标签 。 对 于 一 些 昂 贵 的 货物 ， 甚 至 在 每 一 个 货物 上 都 会 打上 标签 。 将 
来 ， 为 每 件 货物 打上 标签 最 终 会 成 为 一 个 标准 做 法 。 但 是 在 今天 的 很 多 
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情况 下 ， 这 么 做 的 代价 仍然 过 于 昂贵 ， 因 此 通常 只 在 每 个 运 货 箱 上 打 一 
个 标签 。 这 些 标 签 使 得 运 货 箱 当 前 的 位 置 、 装 载 和 利 载 的 时 间 、 存 放 的 
地 点 都 很 容易 被 奶 踪 到 。 

想象 一 个 存放 了 数 以 万 计 运 货 箱 的 仓库 。 每 个 运 货 箱 都 打上 了 一 个 
REFID 标 签 。REFID 识 别 器 每 陋 10 秒 都 要 问 仓 库 询 问 一 次 :“ 是 谁 在 那 
里 ? ”每 个 运 货 箱 都 会 给 出 如 下 回应 :“ 是 我 。” 让 我 们 来 讨论 一 下 ， 在 
这 个 例子 中 大 数据 是 如 何 很 快 瘦身 的 。 

今天 第 一 个 到 达 的 运 货 箱 会 发 出 信息 :“ 我 是 运 货 箱 123456789。 我 
在 这 里 。” 在 未 来 3 个 星期 内 ， 只 要 这 个 运 货 箱 还 在 仓库 中 ， 那 么 每 隔 10 
秒 它 都 会 重复 地 应 答 :“ 我 在 这 里 。 我 在 这 里 。 我 在 这 里 。*” 在 每 隔 10 秒 
的 轮 询 过 后 ， 非 常 有 必要 去 分 析 所 有 的 应 答 ， 并 鉴别 出 状态 发 生 了 改变 
的 运 货 箱 。 通 过 这 种 方式 ， 可 以 确认 那些 预期 的 变化 ， 并 对 状态 发 生 了 
非 预 期 变化 的 运 货 箱 采 取 相 应 措施 。 

一 旦 一 个 运 货 箱 离 开 了 仓库 ， 它 将 不 再 做 出 任何 应 答 。 一 旦 确认 这 
个 运 货 箱 是 按照 预期 方式 离开 的 ， 那 之 前 所 有 "我 在 这 里 ”的 记录 将 不 再 
有 用 。 随 着 时 间 的 推移 ， 真 正 有 用 的 是 这 些 运 货 箱 到 达 和 离开 的 日 期 和 
时 间 。 如 果 这 两 个 时 间 点 相隔 了 3 个 星期 ， 我 们 需要 保留 的 也 仅仅 是 运 
货 箱 到 达 和 离开 的 这 两 个 时 间 戳 。 在 这 期 间 里 ， 所 有 那些 每 隔 10 秒 做 
出 “我 在 这 里 ”的 应 答 虽 然 没 有 任何 长 期 价值 ， 但 是 仍 有 必要 收集 它们 。 
而 且 在 它们 产生 的 每 个 时 刻 ， 都 有 必要 去 分 析 它 们 。 但 是 那些 在 这 两 个 
时 刻 点 之 外 的 应 答 将 不 再 有 任何 长 期 价值 。 一 旦 这 个 运 货 箱 离开 ， 这 些 
数据 便 可 以 被 安全 地 丢弃 。 


准备 好 丢弃 数据 

驾驭 大 数据 的 一 个 关键 是 要 鉴别 出 那些 重要 的 信息 。 有 些 信息 具有 长 期 的 战略 价值 ， 有 些 信 
息 只 具有 临时 的 战术 价值 ， 而 为 外 一 些 信 息 则 晕 无 价值 。 让 大 量 数据 放任 自流 显得 很 奇怪 ， 但 
对 大 数据 来 说 却 是 意料 之 中 的 事情 。 也 许 你 需要 一 些 时 间 来 适应 丢弃 一 些 低 价值 的 数据 。 




























































































如 果 原 始 的 大 数据 流 可 以 被 保存 一 段 时 间 ， 那 么 就 可 以 返回 并 提取 
一 些 在 第 一 次 处 理 过 程 中 丢掉 的 信息 。 关 于 这 种 做 法 的 一 个 例子 是 我 们 
现在 正在 做 的 网 络 活动 跟踪 。 大 多 数 网 站 都 使 用 了 基于 标签 的 方法 。 在 
基于 标签 的 方法 中 ， 首 先 需要 并 明日 需要 对 用 户 交 互 过 程 中 的 哪些 文 
本 、 图 像 或 链接 进行 跟踪。 那些 用 户 看 不 见 的 标签 ， 将 会 汇报 用 户 正在 
做 的 事情 。 由 于 只 有 被 标签 标注 了 的 内 容 才 会 被 汇报 ， 所 以 从 一 开始 ， 
大 部 分 的 浏览 信息 就 被 忽略 挥 了 。 问 题 是 ， 如 果 不 小 心 丢 失 了 创建 一 个 
新 促销 图 片 标签 的 请 求 ， 我 们 将 无 法 返回 并 分 析 这 张 图 片 的 访问 信息 。 
虽然 以 后 也 可 以 加 上 标签 ， 但 就 只 能 收集 到 此 时 间 点 后 的 活动 信息 了 。 

有 一 些 新 的 方法 可 以 用 来 解析 原始 网 络 日 志 ， 无 需 预 先 定义 也 可 以 
对 事件 进行 鉴别 。 这 些 方 法 是 基于 日 志 的 ， 因 为 它们 直接 使 用 原始 网 络 
日 志 。 这 种 方法 的 价值 在 于 ， 如 果 你 后 来 意识 到 曾 忘 记 收 集 关 于 该 促销 
图 片 的 交互 信息 ， 你 仍 可 以 重新 解析 那些 数据 并 把 它们 提取 出 来 。 在 这 
种 情况 下 ， 所 有 数据 在 开始 时 都 不 会 被 丢 弃 ， 但 古 在 分 析 时 要 决定 留 下 
哪些 数据 。 这 是 一 种 重要 的 能 力 ， 也 解释 了 为 什么 尽管 代价 是 昂贵 的 ， 
但 保留 一 些 历史 数据 仍然 是 有 意义 的 。 需 要 保存 多 少数 据 取 决 于 数据 流 
的 大 小 以 及 可 用 的 存储 空间 。 一 个 不 错 的 解决 方案 是 在 存储 成 本 所 允许 
的 范围 内 ， 保 存 尽 可 能 多 的 历史 数据 ， 从 而 获得 上 尽 可 能 高 的 灵活 上 度 。 


1.10 有 效 过 滤 大 数据 


大 数据 带 来 的 最 大 挑战 可 能 并 不 是 你 要 对 它 做 的 分 析 工 作 ， 而 是 你 
为 分 析 做 的 一 系列 准备 ， 而 是 提取 、 转 换 和 加 载 (ETL) 流程 。ETL 是 
指 获 取 原 始 大 数据 流 ， 然 后 对 其 进行 解析 ， 并 产生 可 用 输出 数据 集 的 过 
程 。 从 数据 源 中 提取 〈E) 数据 ， 然 后 经 过 各 种 聚合 、 函 数 、 组 合 等 转 
换 (T) ， 使 其 变 为 可 用 数据 。 最 终 ， 数 据 会 被 加 载 (L) 到 对 它 进 行 





















































具体 分 析 的 环境 中 。 这 就 是 ETL 流 程 。 

让 我 们 再 回头 看 一 下 之 前 讨论 过 的 那个 比喻 : 通过 一 个 吸管 吸水 。 
当 你 从 吸管 中 吸水 的 时 候 ， 你 并 不 关心 哟 到 你 嘴 里 的 水 是 来 自 于 哪 一 部 
分 。 然 而 对 大 数据 来 次 ， 你 对 收集 数据 流 的 哪 一 部 分 却 非常 在 竹 。 有 必 
要 事先 探索 和 理解 整个 数据 流 ， 只 有 这 样 你 才能 过 小 出 你 想 要 的 那 部 分 
言 轧 。 这 也 解释 了 为 什么 要 驭 大 数据 需要 付出 如 此 之 多 的 前 期 努力 。 


从 吸管 中 吸水 

处 理 分 析 大 数据 和 从 吸管 中 吸水 有 很 多 相似 之 处 。 大 部 分 数据 都 只 是 匆匆 经 过 ， 就 像 大 部 分 
的 水 经 过 一 样 。 目标 是 当 数 据 经 过 的 时 候 ， 从 中 吸取 出 那些 需要 的 部 分 ， 而 不 是 尝试 把 它 全 部 
喝 下 去 。 专 注 于 大 数据 中 的 重要 部 分 ， 可 以 使 得 处 理 数据 更 容易 ， 并 有 精力 去 做 真正 重要 的 事 


情 。 




































































当 大 数据 流 开 始 到 达 的 时 候 ， 分 析 流 程 要 求 前 端的 过 滤器 先 滤 除 把 
一 部 分 数据 。 在 数据 被 处 理 的 过 程 中 ， 还 会 有 其 他 的 过 滤器 。 例 如 ， 在 
处 理 网 络 日 志 的 时 候 ， 通 常 需要 先 过 滤 挥 与 浏览 占 版 本 或 操作 系统 相关 
的 信息 。 除 非 为 了 茶 些 特殊 的 操作 原因 ， 这 些 数 据 将 很 少 被 用 到 。 在 流 
程 后 期 ， 数 据 可 能 被 过 滤 到 只 剩 下 茶 些 由 于 业务 需要 而 符 检 查 的 特定 页 
面 和 用 户 操作 。 

复杂 的 规则 和 每 个 阶段 被 滤 除 和 保留 的 数据 量 会 根据 具体 的 数据 源 
和 业务 挑战 有 所 不 同 。 早 期 处 理 大 数据 的 加 载 流程 和 过 滤器 是 非常 关键 
的 。 如 果 它 们 没有 人 被 正 确 地 使 用 ， 分 析 将 很 难 成 功 。 传 统 的 结构 化 数据 
不 需要 在 这 些 方面 花 多 大 功夫 ， 因 为 它们 都 已 被 事先 指定 、 理 解 并 标准 
化 。 对 于 大 数据 ， 在 很 多 情况 下 都 有 必要 将 其 指定 、 理 解 并 标准 化 ， 并 
成 为 分 析 流 程 的 一 部 分 。 


1.11 将 大 数据 和 传统 数据 意 合 























大 数据 最 令 人 激动 的 部 分 并 不 是 它 本 里 能 为 企业 做 什么 ， 而 是 当 它 
和 企业 的 其 他 数据 结合 后 ， 能 为 企业 做 什么 。 

例如 ， 浏 览 历史 是 非常 强大 的 信息 源 。 如 果 将 其 用 于 更 大 的 环境 
中 ， 束 能 够 知道 每 个 顾客 的 价值 ， 知 道 顾客 在 过 去 通过 各 种 渠道 所 购买 
的 商品 ， 这 些 将 使 得 网 络 数据 的 威力 变 得 更 强大 。 我 们 将 在 第 2 章 中 对 
其 进行 更 详细 的 探讨 。 

智能 电网 数据 对 于 电力 公司 非常 有 用 。 将 其 用 于 更 大 的 环境 中 ， 如 
果 能 够 知道 顾客 的 历史 计 费 模式 、 住 宅 类 型 ， 以 及 其 他 一 些 因 素 ， 将 会 
使 从 智能 电表 上 读 来 的 数据 更 加 有 用 。 我 们 将 在 第 3 章 中 对 其 进行 探 
讨 

顾客 在 线 聊 天 和 电子 邮件 中 获得 的 文本 数据 非常 有 用 。 将 其 用 于 更 
大 的 环境 中 ， 如 果 能 够 知道 所 讨论 产品 的 具体 规格 ， 关 于 这 些 产 品 的 销 
售 数据 ， 以 及 以 往 的 产品 缺陷 信息 将 会 使 这 些 文 本 数据 的 效力 剧 增 。 我 
们 将 在 第 3 草 和 人 第 6 章 从 不 同 的 视角 对 其 进行 探讨 。 

企业 数据 仓库 (EDW) 已 经 成 为 被 广泛 使 用 的 企业 工具 ， 其 主要 原 
因 并 不 是 为 了 将 海量 数据 集中 起 来 以 节省 硬件 和 软件 成 本 。EDW 人 允许 
不 同 的 数据 源 相互 混 合 ， 彼 此 增强 ， 从 而 创造 价值 。 通 过 EDW， 可 以 
将 对 用 户 和 雇员 信息 一 起 进行 分 析 ， 因 为 这 两 种 信息 联系 紧密 ， 且 不 再 
被 分 开 分 析 。 例 如 ， 茶 些 雇员 是 否 通过 其 个 人 影 啊 比 其 他 雇员 创造 了 更 
多 的 顾客 价值 ?如 果 将 数据 结合 起 来 放 在 一 起 ， 这 些 问题 将 更 容易 回 
答 。 大 数据 的 加 入 使 得 越 来 越 多 的 数据 类 型 可 以 结合 在 一 起 ， 以 增添 新 
的 视角 和 处 理 环境 ， 从 而 推动 解决 更 多 和 更 大 规模 的 问题 。 


将 它们 混合 起 来 

大 数据 最 大 的 价值 在 于 它们 可 以 和 其 他 企业 数据 结合 起 来 。 将 大 数据 里 找 出 的 东西 放 到 更 大 
的 处 理 环境 中 ， 新 的 洞察 的 数量 和 质量 都 会 呈 指 数 级 增长 。 这 也 解释 了 为 什么 需要 制定 大 数据 
和 其 他 数据 相 结合 的 整体 数据 战略 ， 而 不 是 独立 的 大 数据 战略 。 






















































































这 就 是 企业 不 制定 严格 区 别 于 传统 数据 战略 的 大 数据 战略 的 关键 原 
因 。 这 样 做 会 导致 失败 。 大 数据 和 传统 数据 都 是 整体 战略 的 一 部 分 。 要 
想 成 功 ， 企 业 需 要 发 展 凝 聚 性 的 战略 ， 大 数据 在 该 战略 中 并 不 是 被 严格 
区 分 的 独立 概念 。 相 反 地 ， 大 数据 必须 只 是 企业 数据 战略 的 一 个 方面 。 
从 一 开始 ， 企 业 所 必须 考虑 和 计划 的 就 不 仅仅 是 如 何 收集 和 分 析 大 数据 
本 号 ， 还 包括 如 何 将 其 和 其 他 企业 数据 结合 起 来 ， 并 将 其 作为 企业 数据 


整体 方案 的 一 部 分 。 
1.12 ”对 大 数据 标准 的 需求 


大 数据 会 继续 以 狂 野 西 部 式 的 风格 ， 以 及 无 限制 及 缺乏 定义 的 数据 
流 格 式 存 在 吗 ? 或 许 不 会 。 随 着 时 间 推 移 ， 会 有 一 些 标准 被 制定 出 来 。 
一 些 半 格式 化 的 数据 源 会 逐渐 变 得 更 加 格式 化 ， 而 且 一 些 独立 的 组 织 会 
微调 它们 的 大 数据 流 ， 使 之 对 分 析 更 加 友好 。 然 而 更 重要 的 是 ， 发 展 行 
业 标 准 是 大 势 所 趋 。 尽 管 诸如 电子 邮件 和 社交 媒体 评论 之 类 的 文本 数据 
无 法 在 其 输入 器 施加 很 多 控制 ， 然 而 标准 化 解释 这 些 数 据 并 用 于 分 析 的 
方法 却 是 可 行 的 。 事 实 上 ， 这 些 变化 已 经 开始 发 生 了 。 

例如 ， 哪 些 词 是 “好 ?的 ， 哪 些 词 是 “ 坏 ” 的 ? 对 于 哪些 状况 默认 的 规 
则 会 失效 ?哪些 电子 邮件 值得 一 字 不 漏 地 解析 和 分 析 ， 而 哪些 可 以 被 很 
快 地 处 理 ? 产生 大 数据 的 方法 ， 以 及 处 理 和 分 析 大 数据 的 过 程 ， 都 会 被 
制定 标准 。 输 入 端 和 输出 端 都 会 被 涉及 。 结 果 ， 征 服 大 数据 的 任务 将 会 
变 得 更 加 容易 。 这 个 过 程 还 需要 一 些 时 间 ， 而 且 ， 这 些 被 制定 的 标准 更 
像 是 一 些 被 从 业 人 员 普 过 接受 的 实践 法 则 ， 而 不 是 由 官方 标准 化 组 织 正 
式 声明 的 规则 或 政策 。 不 管 如 何 ， 标 准 会 越 来 越 多 。 


标准 化 所 有 可 能 的 范 


尽管 类 似 于 电子 邮件 的 文本 数据 无 法 在 其 输入 端 施加 很 多 控制 ， 然 而 解析 这 些 数据 并 用 于 分 



































析 的 方法 是 可 以 被 标准 化 的 。 你 并 没有 能 力 将 大 数据 的 一 切 都 标准 化 ， 但 是 通过 部 分 标准 化 ， 
已 经 足以 让 任务 变 得 更 简单 。 应 当 把 注意 力 集中 在 使 用 大 数据 和 标准 化 大 数据 流 输入 上 。 






































能 够 迅速 切入 大 数据 领域 的 企业 具有 制定 标准 和 影响 标准 发 展 的 能 
力 ， 从 而 保证 它们 的 特殊 需求 可 以 被 满足 。 茶 些 行业 甚至 可 以 区 匠 领 
先 。 对 于 电力 公司 行业 ， 在 具备 收集 数据 的 能 力 之 前 ， 已 经 有 相当 多 的 
工作 用 于 定义 智能 电网 数据 的 参数 。 当 项 目 以 一 般 定义 和 规则 启动 时 ， 
如 末 每 家 电力 公司 都 以 它们 目 己 的 方式 创造 数据 ， 而 没有 事先 与 它们 的 
同行 共同 商议 ， 那 么 智能 电网 数据 将 更 加 难以 管理 。 


1.13 ”今天 的 大 数据 将 不 册 是 明天 的 六 数据 


正如 我 们 在 本 章 最 开始 所 讨论 的 ， 大 数据 被 公认 的 定义 多 少 还 有 一 
些 模糊 。 没 有 一 个 明确 和 广泛 的 定义 ， 什 么 样 的 数据 可 以 被 视 为 大 数 
据 。 相 反 地 ， 大 数据 的 定义 是 相对 于 当前 可 用 的 技术 和 资源 而 言 的 。 结 
朵 ， 录 一 个 企业 或 行业 所 认为 的 大 数据 ， 可 能 对 于 男 一 个 企业 或 行业 就 
不 再 是 大 数据 。 对 于 大 的 电子 商务 企业 ， 它 们 眼 里 的 大 数据 要 比 小 厂商 
眼 里 的 大 数据 “大 ”得 多 。 

更 重要 的 是 ， 随 着 时 间 的 推移 ， 处 理 数据 的 工具 和 技术 、 原 始 存 储 
空间 和 人 处理 能 力 都 会 不 断 沽 进 ， 大 数据 的 界定 也 必然 会 友 生 变化 。10 年 
或 20 年 之 前 ， 几 百 个 领域 ， 几 百 万 个 顾客 的 年 家 妊 人 口 档 采 是 非常 硕 大 
并 难以 管理 的 。 而 如 今 ， 这 些 数据 可 以 存 入 一 个 U 盘 中 ， 并 可 以 使 用 低 
端的 笔记 本 电脑 对 其 进行 分 机 。 对 大 容量 、 高 速度 、 高 复杂 上 度 的 界定 会 
一 直 演 变 ， 对 大 数据 也 同样 如 此 。 


“大 ”会 变化 


今天 的 大 数据 明天 可 能 不 再 被 认为 是 大 数据 ， 就 像 10 年 前 的 大 数据 在 如 今 看 来 什么 都 不 是 一 





















































样 。 大 数据 会 继续 演进 下 去 。 如 今 ， 在 数据 容量 、 速 度 、 多 样 性 、 复 杂 度 等 方面 被 认为 是 不 可 
能 的 或 无 法 想象 的 事情 ， 几 年 过 后 情况 会 完全 不 同 。 这 是 一 个 多 年 不 变 的 定律 ， 在 大 数据 时 代 
也 同样 适用 。 





















































10 年 以 前 ， 零 售 业 、 电 信 业 以 及 金融 业 的 交易 数据 非常 庞大 ， 并 且 
难以 处 理 。 事 实 上 ， 在 20 世 纪 90 年 代 后 期 之 前 ， 对 于 很 多 企业 ， 这 些 数 
所 都 没有 被 用 在 分 析 和 报表 中 。 如 今 ， 这 些 数据 已 被 认为 是 一 项 必要 且 
基本 的 资产 。 事 实 上 每 一 家 公司 ， 不 论 大 小 ， 都 会 使 用 到 这 些 数据 。 

类 似 地 ， 我 们 今天 所 惧怕 的 事情 ， 几 年 之 后 将 不 会 再 如 此 可 怕 。 来 
目 网 页 的 点 击 流 数据 也 许 在 10 年 内 便 可 以 成 为 标准 化 的 、 易 于 处 理 的 数 
据 源 。 对 于 大 多 数 企 业 ， 积 极地 处 理 每 封 电 子 邮件 、 每 次 顾客 服务 谈 
话 、 每 条 社交 媒体 评论 部 可 能 成 为 标准 化 的 实践 行为 。 每 秒 钟 在 搜索 引 
擎 中 跟 躁 几 百 个 指标 对 任何 人 来 说 都 不 再 古 什 么 费力 的 事情 。 

在 我 们 正在 轨 驭 这 一 代 大 数据 的 同时 ， 其 他 一 些 更 大 的 数据 源 正 在 
逐渐 登 上 历史 舞台 。 它 们 会 是 什么 样子 ? 如 今 还 没有 人 可 以 完全 回答 这 
个 问题 。 然 而 ， 以 下 是 一 些 关 于 当前 数据 源 如 何 迅 速 升 级 到 更 大 量 级 的 
观点 。 

四 想象 一 下 网 络 浏览 数据 会 从 网 页 点 击 数据 扩展 到 坚 秒 级 的 眼 动 和 
鼠标 移动 数据 ， 因 此 用 户 上 网 冲 混 的 每 一 个 微小 细节 都 能 够 被 捕 欣 到 ， 
而 不 只 是 点 击 数 据 。 这 是 大 数据 的 另 一 个 层次 。 

四 想象 一 下 视频 游戏 遥感 数据 将 会 升级 到 不 仅仅 只 包含 按键 和 移动 
数据 。 想 象 一 下 它 同 样 会 包括 玩家 的 眼 动 、 身 体 移动 以 及 游戏 场景 中 涉 
及 的 每 个 对 象 的 位 置 和 状态 ， 而 不 仅仅 是 直接 交互 的 对 象 。 这 使 得 数据 
变 得 非常 庞大 。 

四 ”想象 一 下 全 球 每 家 商店 、 分 销 商 以 及 制造 工厂 中 的 每 一 件 商品 痢 
拥有 可 用 的 RFID 人 信息。 想象 一 下 那些 可 以 每 秒 钟 收集 几 十 个 指标 ， 例 
如 ， 温 度 、 湿 度 、 速 度 、 加 速度 、 压 强 等 信息 的 心 片 。 这 类 数据 的 体积 
































在 今天 看 来 是 无 法 想象 的 。 

四 ”想象 一 下 将 顾客 服务 或 电话 销售 的 每 一 次 谈话 都 记录 并 转译 为 文 
本 。 再 加 上 所 有 相关 的 电子 邮件 、 在 线 聊天 ， 以 及 社交 网 站 或 产品 点 评 
网 站 上 的 评论 。 现 在 ， 去 解析 、 整 合并 分 析 所 有 这 些 文本 吧 ， 你 的 大 脑 
是 不 是 已 经 要 爆炸 了 ? 

大 数据 会 一 直 存 在 下 去 。 尽 管 几 年 之 后 ， 今 天 我 们 觉得 恐怖 的 大 数 
据 会 变 得 不 再 那么 吓人 ， 但 总 会 有 令 人 翁 居 的 新 数据 源 出 现 。 企 业 震 要 
持续 地 调整 它们 的 方法 和 目标 ， 以 适应 企业 所 涉及 数据 的 变化 。 然 而 ， 
如 果 企 业 还 不 具备 处 理 大 数据 的 能 力 ， 也 便 谈 不 上 对 数据 处 理 方法 的 调 
整 和 升级 。 所 以 ， 你 需要 现在 开始 ! 


1.14 本 章 小 结 








以 下 是 本 章 的 重点 内 容 。 

四 ”大 数据 通常 定义 为 ， 超 出 了 常用 硬件 环境 和 软件 工具 在 可 接受 的 
时 间 内 为 其 用 户 收集 、 管 理 和 处 理 能 力 的 数据 。 

四 ”大 数据 的 “大 ”不 仅 体现 在 容量 上 ， 还 体现 在 多 样 性 、 速 度 及 复杂 
度 等 方面 。 

四 ”大 数据 的 威力 体现 在 你 所 做 的 分 析 和 所 采取 的 行动 上 ， 而 不 是 体 
现在 “大 ”或 “数据 ”这 两 个 方面 。 

四 ”大 数据 通常 由 某 类 机 器 自动 地 生成 ， 而 且 其 格式 通常 并 不 是 用 户 
友好 的 。 默 认 的 做 法 是 先 收集 所 有 能 收集 到 的 数据 ， 然 后 再 考虑 其 中 哪 
些 是 重要 的 。 

四 ”大 数据 是 下 一 波 新 的 、 更 大 的 、 推 动 当 前 极限 的 浪潮 。 从 分 析 的 
角度 看 ， 它 和 过 去 的 数据 源 并 没有 什么 区 别 。 它 们 在 第 一 次 出 现时 ， 都 
显得 庞大 而 难以 处 理 。 

四 ”大 数据 会 改变 分 析 专 家 所 使 用 的 分 析 策 略 和 工具 ， 但 它 不 会 从 根 











本 上 改变 分 析 的 动机 ， 以 及 从 分 析 中 可 获取 的 价值 。 

四 ”很 多 大 数据 源 是 半 结 构 化 的 。 半 结构 化 的 数据 源 有 一 定 的 逻辑 ， 
但 是 可 能 并 不 漂 肚 。 大 数据 也 可 以 是 非 结构 化 的 。 在 茶 些 情况 下 ， 它 其 
至 和 传统 数据 源 的 结构 相同 。 

四 ”大 数据 最 大 的 风险 是 茶 些 数据 源 可 能 涉及 隐私 纠纷 。 在 使 用 大 数 
据 的 过 程 中 ， 目 我 约束 和 法 律 约束 都 是 必需 的 。 

四 ”征服 大 数据 并 不 意味 看 要 控制 所 有 的 数据 ， 它 束 像 从 吸管 中 吸水 
一 样 ， 仅 仅 吸 取 那 些 重要 的 部 分 束 可 以 了 。 

四 ”大 数据 最 令 人 激动 的 部 分 是 ， 当 它 和 其 他 数据 结合 以 后 所 带 来 的 
业务 价值 。 

四 ”大 数据 和 传统 数据 部 是 整体 数据 和 分 析 集 略 的 一 部 分 。 不 要 制订 
严格 区 分 于 传统 数据 策略 的 大 数据 集 略 。 

四 ”大 数据 会 持续 地 省 进 。 如 今 被 认为 庞大 和 灵 怖 的 数据 在 10 年 之 后 
只 是 小 事 一 桩 ， 但 是 那 时 候 又 会 出 现 其 他 的 新 数据 源 ! 














第 9 音 
网 络 数据 : 原始 的 大 数据 


如 果 能 够 理解 顾客 意图 而 不 仅仅 只 理解 顾客 行为 ， 这 难道 不 是 件 很 
好 的 事情 吗 ? 如果 能 够 理解 每 个 顾客 在 决定 是 人 否 购 买 某 件 商品 前 的 思维 
过 程 ， 这 难道 不 是 件 很 好 的 事情 吗 ? 在 过 去 ， 这 些 想 法 简直 被 当 作 天 方 
夜 课 。 如 今 ， 通 过 使 用 详细 的 网 络 数据 ， 这 些 想法 已 经 成 为 可 能 。 以 上 
是 本 章 主要 涉及 的 内 容 。 

切实 学 习 一 些 大 数据 如 何 用 于 驱动 商业 价值 的 实例 ， 能 够 帮助 我 们 
更 好 地 理解 大 数据 。 在 今天 ， 或 许 没 有 其 他 的 大 数据 源 能 够 像 网 络 数 据 
一 样 应 用 地 如 此 广泛 。 本 章 的 所 有 扩容 都 是 关于 网 络 数据 的 ， 因 此 ， 我 
们 可 以 深入 这 个 话题 并 详细 地 讨论 网 络 数据 的 应 用 。- 节 -在 第 3 章 ， 我 
们 会 对 另外 9 种 重要 的 大 数据 源 进 行 简单 的 探讨 ， 这 9 种 数据 源 概括 性 地 
描述 了 哪些 数据 可 以 被 使 用 以 及 它们 是 如 何 被 使 用 的 。 

很 多 不 同行 业 的 企业 都 已 经 将 从 网 站 上 获取 的 详细 顾客 行为 数据 整 
合 到 了 它们 的 企业 分 析 环境 中 。 然 而 ， 大 多 数 的 企业 还 没有 把 在 线 交 易 
整合 到 网 络 数据 中 。 传 统 的 网 络 分 析 服 务 丙 提供 的 运营 报告 ， 只 包含 点 
击 率 、 网 络 流量 和 其 他 仪 基 于 网 络 数据 的 指标 。 然 而 ， 在 这 些 网 络 报 告 
之 外 ， 详 细 的 网 络 行为 数据 还 未 被 利用 过 。 

一 些 先 张 企业 已 经 证 明了 详细 的 网 络 数据 可 挖掘 出 尚未 开发 的 企业 
价值 。 本 章 将 概述 这 些 先 驱 所 做 的 事情 ， 它 们 为 什么 做 这 些 事情 ， 以 及 
今天 为 什么 每 个 企业 都 应 当 考 虑 使 用 这 些 分 析 。 对 于 那些 尚未 突破 目 我 
封闭 ， 且 未 深入 考虑 过 将 详细 的 点 击 流 数 据 和 其 他 数据 结合 起 来 的 企 
业 ， 这 些 事例 一 定 会 让 它们 大 开眼 界 。 

本 章 的 核心 主题 并 不 仅仅 是 征服 网 络 数据 本 号。 企业 需要 专注 于 将 
网 络 数据 和 其 他 所 有 与 顾客 相关 的 数据 进行 整合 ， 而 非 仅仅 从 独立 的 数 





























据 库 中 获取 数据 。 在 可 扩展 的 分 析 环 境 中 使 用 这 些 信息 ， 不 仪 可 以 洞悉 
顾客 的 购买 观点 ， 还 可 以 洞悉 其 个 体 意 愿 、 购 买 决策 过 程 及 喜好 。 利 用 
新 数据 源 所 提供 的 洞察 ， 企 业 可 以 癌 前 迈进 一 大 步 。 
企业 如 何 获 取 、 分 析 、 利 用 这 些 直 富 的 信息 以 获得 洞 肾 呢 ? 首 先 ， 

我 们 将 讨论 需要 获得 哪些 数据 及 其 原因 。 其 次 ， 我 们 将 通过 一 些 例子 来 
探讨 这 些 数 据 可 以 揭示 什么 。 最 后 ， 我 们 将 讨论 一 些 特殊 的 例子 ， 关 于 
如 何 通 过 整合 网 络 数据 而 改变 分 析 流 程 。 网 络 数据 是 一 种 已 经 被 很 多 企 
业 轨 驭 了 的 大 数据 源 。 请 赶紧 把 你 也 加 入 到 罗 驭 者 名 单 吧 ! 


2.1 网 络 数 据 概观 


企业 已 经 谈论 了 很 多 年 对 顾客 的 360 度 视图 。 在 任何 一 个 时 间 点 上 ， 
都 会 有 一 些 企业 宣称 它们 真正 获得 了 360 度 视图 。 事 实 上 ， 真 正 获 得 360 
度 视 图 是 不 可 能 的 ， 因 为 这 意味 着 你 对 顾客 的 一 切 都 已 经 了 如 指 掌 。 在 
讨论 360 度 视图 时 ， 我 们 真正 想 说 的 是 ， 考 虑 到 当时 可 用 的 技术 和 数 
据 ， 尽 可 能 全 方位 地 了 解 顾客 。 然 而 ， 终 点 线 总 在 移动 。 当 你 刚刚 觉得 
终于 到 达 的 时 候 ， 终 点 线 又 一 次 移 到 了 更 远 的 地 方 。 

几 十 年 以 前 ， 如 果 企 业 知 道 其 顾客 的 名 字 、 地 址 ， 并 且 可 以 通过 当 
时 的 第 三 方 数据 增强 服务 ， 在 这 些 顾 客 的 名 字 后 面 附加 一 些 人 口 统 计 信 
尽 ， 那 么 它们 一 定 会 在 竞争 中 处 于 领先 。 最 终 ， 新 锐 企业 们 也 开始 收集 
顾客 的 最 近 一 次 消费 、 消 费 频率 以 及 消费 金额 (RFM) 等 指标 信息 。 这 
些 指标 用 于 观察 顾客 上 一 次 消费 的 时 间 、 消 费 的 频率 以 及 他 们 花费 了 多 
少 钱 。 这 些 指标 可 能 仅 统 计 顾 客 过 去 一 年 的 消费 行为 ， 也 可 能 记录 顾客 
一 生 的 消费 信息 。 在 过 去 的 10 一 15 年 里 ， 事 实 上 所 有 的 商业 都 开始 收集 
和 分 析 其 顾客 的 详细 交易 历史 。 这 直接 导致 了 分 析 能 力 的 爆发 以 及 对 顾 
客 行 为 更 深层 次 的 理解 。 




















让 你 的 360 度 视图 跟 上 时 代 的 脚步 
很 多 企业 对 顾客 交易 行为 的 观点 还 停留 在 过 去 。 如 今 ， 整 合 新 的 数据 源 ， 如 网 络 数据 ， 已 经 
成 为 可 能 ， 并 且 能 为 早期 使 用 者 带 来 巨大 的 收益 。 你 的 企业 关于 顾客 的 观点 跟 上 时 代 脚 步 了 
吗 ? 












































很 多 企业 仍然 停留 在 使 用 交易 历史 的 阶段 。 今 天 ， 虽 然 这 些 旧 的 观 
点 仍然 重要 ， 但 是 很 多 企业 依然 错误 地 认为 它们 代表 了 对 顾客 全 方位 的 
了 解 。 在 今天 ， 企 业 需 要 收集 新 的 关于 顾客 的 大 数据 源 ， 这 些 数 据 源 来 
目 于 各 种 扩展 的 和 新 兴 的 接触 点 ， 如 网 页 浏览 右 、 移 动 应 用 、 目 助 服 务 
机 、 社 区 媒体 网 站 等 。 

正如 交易 数据 引发 了 分 析 能 力 和 分 析 深 度 的 变革 ， 这 些 新 的 数据 源 
同样 会 将 分 析 提 高 到 一 个 新 的 层次 。 以 今天 的 数据 存储 和 处 理 能 力 ， 使 
用 新 数据 源 进行 分 析 绝 对 能 获得 成 功 。 而 且 ， 很 多 具有 前 瞻 性 的 公司 已 
经 通过 利用 这 些 数据 处 理 各 种 问题 证 明了 这 一 点 ， 我 们 后 面 还 会 对 其 进 
行 简短 的 讨论 。 


2.1.1 ”你 遗漏 了 什么 


你 是 否 曾经 停 下 来 考虑 过 如 果 只 收集 网 站 上 的 交易 信息 会 怎么 样 ? 
或 许 对 于 一 个 网 站 ，95%% 的 用 户 在 浏览 后 并 没有 把 商品 放 入 购物 车 。 剩 
下 的 5% 中 ， 大 概 仅 有 一 半 ， 即 2.5%， 进 入 了 结账 流程 。 而 且 ， 在 这 
2.5% 中 ， 仅 有 三 分 之 二 ， 即 1.7%， 最 终 完成 了 交易 。 在 很 多 情况 下 ， 
这 些 数据 并 不 是 不 切实 际 的 。 

这 意味 着 如 果 只 追踪 网 页 中 的 交易 信息 ， 会 有 超过 98% 的 信息 被 遗 
漏 掉 。 然 而 更 重要 的 是 ， 会 有 更 高 比例 的 有 用 信息 被 遗漏 掉 。 每 一 项 购 
买 交易 的 完成 ， 可 能 会 涉及 几 十 或 上 百 个 特定 的 网 页 操作 。 这 些 数 据 需 
要 和 最 终 的 销售 数据 一 起 被 收集 和 分 析 。 

需要 强调 的 一 点 是 ， 这 和 过 去 的 网 络 分 析 完 全 是 两 码 事 。 传 统 的 网 
























































络 分 析 关 注 汇总 的 特性 ， 而 这 仅仅 是 对 网 络 数据 的 概括 和 总 结 。 现 在 的 
目标 是 要 将 顾客 层面 的 网 络 行为 数据 和 其 他 路 渠道 的 顾客 数据 整合 在 一 
起 ， 而 不 再 仅仅 报告 摘要 统计 信息 ， 虽 然 这 些 概 要 信息 已 可 以 看 到 一 些 
细节 。 这 比 网 页 点 击 报告 和 页 面 视 图 摘要 前 进 了 一 大 步 。 

正如 RFM 仅 仅 是 交易 数据 可 提供 的 信息 中 的 一 小 部 分 ， 传 统 的 网 络 
分 析 也 仅仅 使 用 了 一 部 分 网 络 数据 。 网 络 数据 是 改变 游戏 规则 、 令 人 惊 
讶 的 新 前 治 ， 它 彻 确 地 革新 了 企业 对 顾客 的 洞察 以 及 这 些 洞 察 对 其 业务 
产生 的 影响 。 


2.1.2 ”想象 各 种 可 能 性 


想象 一 下 顾客 正在 和 你 的 企业 进行 商业 交易 ， 而 你 对 顾客 所 做 的 一 
切 都 了 如 指 掌 。 不 仅 知 道 他 们 买 了 什么 ， 而 且 知 道 他 们 关于 购买 商品 的 
想法 以 及 影响 他 们 购买 决策 的 关键 因素 是 什么 。 这 些 知 识 使 得 你 对 顾客 
的 理解 ， 以 及 你 和 顾客 之 间 的 交互 提升 到 了 一 个 新 的 层次 。 它 使 得 你 可 
以 更 快 地 满足 顾客 的 需求 并 让 他 们 满意 。 

四 ”把 你 自己 想象 为 一 个 零售 商 。 想 象 和 顾客 并 排 地 走 ， 并 记录 下 他 
们 去 过 的 每 个 地 方 、 他 们 看 过 的 每 件 商品 、 他 们 拿 起 的 每 件 商品 、 他 们 
放 入 购物 车 然后 又 放 回 去 的 每 件 商 品 。 想 象 你 知道 他 们 有 是否 阅读 了 和 营养 
言 轧 、 征 否 看 了 洗衣 说 明 、 是 否 阅读 了 架子 上 的 促销 宣传 手册 ， 或 者 他 
们 是 否 看 过 商店 里 其 他 对 他 们 有 用 的 信息 。 

四 ”把 你 自己 想象 为 一 家 银行 。 想 象 你 清楚 地 知道 每 个 顾客 正在 考虑 
的 所 有 信用 卡 种 类 ; 想象 你 可 以 理解 是 奖励 计划 、 利 率 ， 还 是 年 手续 费 
最 终 促成 了 他 们 的 选择 ， 想 象 你 知道 他 们 在 拥有 了 每 件 商 品 之 后 所 做 的 
评论 。 

四 ”把 你 自己 想象 为 一 家 航空 公司 。 想 象 你 清楚 地 知道 顾客 在 确定 最 
终 旅程 之 前 所 看 过 的 每 一 个 航班 ， 想 象 你 知道 他 们 是 更 在 意 价格 还 是 更 



































在 意 舒 适度 ; 想象 你 知道 他 们 所 考虑 过 的 所 有 目的 地 ， 以 及 他 们 第 一 次 
考虑 它们 是 什么 时 候 。 

四 ”把 你 自己 想象 为 一 个 电信 公司 。 你 清楚 地 知道 顾客 在 做 出 最 终 选 
择 之 前 所 考虑 过 的 每 一 个 电话 型 号 、 计 费 计 划 、 数 据 计 划 以 及 附属 品 。 
想象 你 知道 他 们 回 到 你 网 站 的 方式 是 通过 在 搜索 引擎 中 输入 “ 续 订 合 
约 ” 或 “取消 合约 ”。 

能 够 知晓 以 上 所 列 的 这 些 信息 ， 听 起 来 当然 是 一 件 令 人 激动 的 事 
情 。 收 集 并 分 析 这 些 信 息 ， 那 么 你 现在 便 可 以 更 好 地 了 解 你 的 顾客 。 在 
这 些 行业 里 ， 已 经 有 很 多 企业 将 其 付 诸 实 践 了 。 


2.1.3 一 个 全 新 的 信息 来 源 


探索 顾客 的 网 络 行为 细节 ， 其 美妙 在 于 我 们 可 以 从 中 获悉 顾客 购买 
商品 以 外 的 更 多 信息 。 你 现在 可 以 更 多 地 了 解 他 们 如 何 做 出 决策 。 你 可 
以 看 到 整个 购买 过 程 ， 而 不 仅仅 是 结果 。 这 个 大 数据 源 不 是 已 有 数据 源 
的 简单 扩展 ， 它 能 够 将 网 络 交易 和 传统 交易 结合 起 来 ， 很 多 企业 都 将 为 
此 而 兴奋 。 然 而 ， 从 根本 上 讲 ， 网 络 交 易 仅仅 是 男 一 种 打上 新 的 “交易 
类 型 ”或 “交易 地 点 ”标识 的 交易 记录 。 而 对 于 详细 的 网 络 行为 ， 之 前 还 
未 收集 过 类 似 的 数据 。 这 是 一 种 全 新 的 信息 来 源 。 


一 个 难得 的 机 会 

一 家 企业 能 够 收集 一 套 全 新 而 独特 的 数据 ， 这 个 机 会 并 不 多 见 。 详 细 的 网 络 数据 就 是 一 个 这 
样 难得 的 机 会 。 以 前 ， 通 过 昂贵 的 调查 或 学 术 研 究 仅仅 能 够 获取 一 小 部 分 顾客 的 数据 ， 在 此 之 
外 ， 已 有 的 数据 源 所 能 提供 的 信息 也 都 远 远 不 及 网 络 数据 。 










































































网 络 数据 最 令 人 激动 的 部 分 在 于 它 提 供 了 顾客 偏好 、 未 来 意向 及 动 
机 等 真实 信息 ， 而 以 前 通过 直接 谈话 、 调 研 或 者 其 他 来 源 部 是 无 法 获得 
这 些 信 息 的 。 为 什么 顾客 选择 了 茶 件 商 品 而 不 是 另外 一 件 ? 企业 或 许 认 





为 它们 知道 原因 。 然 而 ， 它 们 很 可 能 会 发 现 很 多 顾客 做 出 的 决定 部 在 它 
们 的 意料 之 外 。 

一 旦 获悉 了 顾客 的 意向 、 仿 好 以 及 动机 ， 便 可 以 通过 全 新 的 方式 与 
他 们 进行 交流 ， 进 一 步 促 进 业 务 ， 提 高 顾客 忠诚 度 。 将 网 络 数据 和 从 过 
去 的 360 度 视野 中 学 到 的 东西 结合 起 来 ， 可 以 产生 意 想不到 的 效果 。 通 
过 这 些 大 量 的 、 新 的 、 可 用 的 网 络 行为 数据 ， 视 野 被 进一步 开阔 了 。 


2.1.4 应 当 收 集 什 么 数据 


如 果 可 以 的 话 ， 顾 客 与 企业 交互 过 程 中 的 所 有 行为 数据 都 应 该 被 收 
集 起 来 。 那 意味 着 所 有 顾客 接触 点 详细 的 事件 信息 都 要 被 收集 。 今 天 ， 
常见 的 接触 点 包括 网 站 、 信 息 服 务 亭 、 移 动 应 用 和 社交 网 络 媒 体 等 。 可 
以 被 收集 的 顾客 事件 ， 包 括 表 2-1 中 的 这 些 例子 。 

表 2-1 可 以 被 收集 的 行为 























尽管 本 章 主 要 关注 网 络 数据 ， 这 些 原理 同样 适用 于 其 他 在 第 一 段 中 
列 出 的 数据 源 。 昌 然 以 下 的 例子 都 是 关于 网 站 的 ， 但 请 记 住 这 些 概念 同 
样 适用 于 其 他 所 有 可 以 收集 数据 的 接触 点 。 


这 不 仅仅 关于 网 络 数据 
本 章 中 所 讨论 的 概念 可 以 应 用 于 很 多 种 不 同 的 接触 点 ， 包 括 信息 服务 亭 及 移动 应 用 等 。 不 要 
将 你 的 思考 仅仅 局 限于 网 络 数据 。 


了 评论 号 


























2.1.5 ”关于 隐私 


今天 ， 隐 私 是 一 个 很 大 的 问题 ， 而 且 以 后 这 个 问题 会 越 来 越 严 重 。 
必须 认真 考虑 需要 收集 什么 数据 以 及 如 何 利用 它们 。 你 不 仅 要 巡 守 正式 
法 律 的 限制 ， 也 不 能 逾越 顾客 能 够 接受 的 底线 。 企 业 应 当 尽 量 吉 免 顾 客 
把 它们 的 项 目 当 作 茶 种 令 人 毛骨悚然 的 事情 或 者 “侵入 ”。 隐 私 是 值得 企 
业 深 入 讨论 的 问题 。 本 书 无 法 禾 盖 所 有 关于 隐私 的 话题 。 然 而 ， 我 们 还 
是 会 探讨 一 种 在 通过 分 析 网 络 数据 获 蔓 的 同时 ， 并 兼顾 隐私 考虑 的 方 


案 。 




















即使 企业 想 要 采取 一 些 保守 的 措施 ， 仍 然 有 从 网 络 数 据 中 获 益 的 方 
法 。 即 使 不 愿意 和 每 个 顾客 进行 单独 交互 ， 或 者 将 所 有 数据 与 可 识别 的 
顾客 资料 相 匹配 ， 网 络 数据 仍然 是 有 价值 的 。 对 每 个 顾客 ， 通 过 其 登录 
记录 、cookie 或 者 类 似 信息 ， 部 有 一 个 唯一 的 、 随 机 的 、 与 个 人 里 份 无 
天 的 匡 与 之 相 匹 配 。 这 些 识别 号 可 以 被 当 作 是 “face-less《“ 蒙 面 ) ”的 顾 
客 记 录 。 尽 管 所 有 与 该 ID 相关 的 数据 都 来 目 于 同一 个 人 ， 执 行 分 析 的 人 
员 却 无 法 将 这 些 ID 与 实际 顾客 相 匹配 。 然 而 ， 通 过 在 顾客 中 寻找 某 些 模 
式 ， 仍 然 可 以 完成 分 机 。 这 些 模式 是 强大 的 ， 而 且 并 非 只 有 和 弄 清楚 每 个 
人 具体 做 了 什么 事情 才能 发 现 它们 。 


考虑 一 下 绽 面 顾客 的 分 析 
顾客 分 析 中 的 很 多 价值 都 来 自 于 可 被 识别 的 汇总 模式 。 如 果 你 直接 销售 商品 给 顾客 ， 你 所 需 
要 做 的 仅仅 是 通过 名 字 或 地 址 进行 身份 识别 。 还 有 很 多 具有 很 高 价值 的 分 析 仅 仅 通 过 查看 蒙 面 
顾客 的 数据 来 完成 。 在 这 种 方法 中 ， 分 析 专 家 所 知道 的 顾客 信息 ， 仅 仅 是 一 个 随机 的 、 无 法 刀 
调 的 数字 。 不 要 错过 这 些 分 析 可 以 带 来 的 收益 。 





































































































重要 的 是 ， 从 蒙 面 顾客 中 得 出 的 模式 ， 而 不 是 顾客 的 具体 行为 。 在 
这 个 例子 中 ， 个 体 的 重要 性 仅仅 体现 在 他 们 作为 模式 分 析 的 输入 数据 。 
为 了 获取 价值 ， 并 不 需要 识别 每 个 具体 的 个 体 。 通 过 今天 的 数据 库 技 
术 ， 分 析 专 家 可 以 在 不 涉及 个 体 识别 的 前 提 下 完成 分 析 。 这 样 可 以 消除 








很 多 关于 隐私 的 忧患 。 当 然 ， 很 多 企业 实际 上 也 是 通过 这 种 分 析 来 识别 
和 定位 具体 顾客 的 。 想 必 这 些 企业 都 已 经 制定 好 了 关于 隐私 的 政策 ， 包 
括 什么 情况 下 不 应 该 参与 ， 并 且 诬 愤 地 遵守 这 些 隐私 政 集 。 


2.2 网络 数据 揭示 了 什么 


既然 我 们 已 经 讲 到 了 什么 是 网 络 数据 ， 下 面 让 我 们 再 深入 一 些 吧 。 
在 很 多 具体 的 领域 中 ， 企 业 可 以 通过 网 络 数据 更 好 地 理解 它们 的 顾客 。 
如 琳 不 能 车 驭 这 种 大 数据 ， 将 很 难 获得 这 种 洞察 。 在 本 市 中 ， 我 们 首先 
将 明确 一 些 可 以 从 网 络 数据 中 获得 这 种 洞 肾 的 领域 ， 在 最 后 一 市 再 探讨 
详细 的 使 用 案例 和 应 用 。 


2.2.1 ”购物 行为 


一 个 理解 购物 行为 的 很 好 起 点 是 错 清楚 顾客 是 如 何 进入 一 个 网 站 并 
开始 购物 的 。 他 们 使 用 什么 搜索 引擎 ? 他 们 输入 了 什么 搜索 关键 词 ? 他 
们 使 用 了 以 前 收藏 的 书签 吗 ?分析 专家 可 以 获取 这 些 信息 并 从 中 寻找 一 
些 模式 ， 例 如 ， 哪 些 搜 索 关 键 词 、 搜 索引 擎 以 及 推荐 网 站 与 更 局 的 销售 
率 相 关联 。 需 要 注意 的 是 ， 分 析 专 家 不 仅 可 以 但 看 给 定 网 页 中 哪些 产品 
的 销售 率 更 高 ， 还 可 以 但 看 同一 顾客 在 哪 一 段 时 期 的 购买 率 更 高 。 将 网 
站 的 销售 和 顾客 购买 行为 跨 渠 道 地 结合 起 来 ， 这 才 是 价值 的 体现 。 

一 旦 顾客 登录 了 网 站 ， 他 们 便 开 始 碍 看 所 有 浏览 到 的 商品 。 我 们 需 
要 鉴别 出 哪些 顾客 仅仅 看 了 商品 的 登陆 页 面 后 便 离 开 ， 哪 些 顾客 更 进 一 
步 地 进行 得 看 。 谁 得 看 了 附加 照片 ? 谁 阅读 了 产品 评价 ? 谁 看 了 详细 的 
产品 说 明 ? 谁 看 了 运输 信息 ? 谁 利用 了 其 他 网 站 上 可 用 的 信息 ?例如 ， 
鉴别 出 哪些 商品 被 选择 进行 “比较 ”。 最 后 ， 很 容易 鉴别 出 哪些 商品 被 加 
入 了 意愿 清单 或 购物 车 ， 以 及 后 来 它们 是 否 被 移 除 。 






































读 懂 顾客 的 想法 

网 络 数据 是 独一无二 的 ， 它 让 你 可 以 知晓 顾客 接 下 来 会 买 什么 以 及 他 们 的 决 集 过 程 是 如 何 进 
行 的 。 这 使 得 企业 可 以 积极 地 推动 顾客 去 完成 他 们 还 未 完成 的 交易 。 提 供 正确 的 选择 ， 顾 客 几 
乎 会 认为 在 他 们 购买 商品 的 时 候 ， 你 读 懂 了 他 们 的 想法 。 


















































网 络 数 据 市 来 的 一 个 非常 有 趣 的 功能 是 在 顾客 购买 前 弄 明 日 他 们 所 
感 兴趣 的 商品 捆绑 。 在 顾客 完成 购买 后 ， 紧 跟 独 推销 其 他 商品 的 做 法 已 
经 注 伍 了 。 相 反 地 ， 在 第 一 时 间 ， 就 应 该 但 看 他 们 所 浏览 的 东西 ， 并 问 
他 们 提供 完整 的 商品 捆绑 。 

例如 ,假设 有 位 顾客 正在 浏览 电脑 、 备 份 人 硬盘 、 打 印 机 以 及 显示 
器 。 似 乎 顾客 正在 考虑 对 整套 PC 系统 进行 升级 。 你 可 以 立即 提供 一 套 
包括 了 顾客 浏览 过 的 所 有 部 件 的 套装 。 不 要 等 到 顾客 购买 电脑 后 再 提供 
通用 配件 的 套装 。 在 顾客 购买 之 前 提供 定制 的 捆绑 优惠 ， 比 在 他 们 购买 
之 后 再 推荐 一 些 通 用 的 配件 效果 更 好 。 


2.2.2 ”顾客 的 购买 路 人 径 和 偏好 


利用 网 络 数 据 ， 并 通过 查看 顾客 在 网 站 中 的 浏览 历史 ， 可 以 弄 清楚 
他 们 做 出 最 后 购买 决定 的 过 程 。 同 样 也 可 以 洞察 他 们 的 偏好 。 花 一 点 时 
间 来 想 一 下 关于 航空 公司 的 例子 。 航 空 公司 可 以 通过 预订 的 机 票 来 了 解 
顾客 人 偏好。 例如， 这 些 机 票 是 提前 多 久 被 预订 的 ?哪些 价格 的 舱位 被 预 
订 了 ? 航班 是 否 跨 过 了 周末 ? 这 些 信息 都 是 有 用 的 ， 但 是 航空 公司 还 可 
以 从 网 络 数据 中 获取 更 多 的 信息 。 

航空 公司 可 以 鉴别 出 哪些 顾客 更 看 重 便 利 性 。 这 些 顾客 通常 只 搜寻 
特定 时 间 的 直 飞 航班 。 只 有 在 价格 相差 很 大 而 只 牺牲 一 点 点 便利 性 的 前 
提 下 ， 他 们 才 可 能 不 去 选择 最 便捷 的 直 飞 航班 。 也 许 一 位 顾客 在 纽约 
JFK 机 场 转机 会 比 直 飞 LaGuardia 机 场 省 下 700 美 元 。 他 将 在 JFK 机 场 停留 
30 分 钟 ， 所 需 的 额外 出 租车 费用 只 有 20 美 元 。 在 这 种 情况 下 ， 一 个 倾 癌 























于 便利 性 的 顾客 也 许 会 选择 省 下 这 700 美 元 而 承受 在 JFK 机 场 转机 的 稍 许 
抹 烦 。 然 而 ， 如 有 果 差 价 只 有 200 美 元 而 航班 最 终 到 达 的 时 间 会 晚 2 个 小 
时 ， 倾 向 于 便利 性 的 顾客 仍 将 坚持 最 便捷 的 选择 。 

航空 公司 还 可 以 鉴别 出 那些 价格 至 上 的 顾客 ， 他 们 愿意 查询 很 多 航 
班 ， 并 从 中 选择 价格 最 优 的 。 只 有 在 牺牲 适度 的 价格 可 以 极 大 地 提高 便 
利 性 的 前 提 下 ， 这 些 顾客 才 有 可 能 违背 价格 第 一 的 原则 。 例 如 ， 对 于 某 
一 个 顾客 ， 上 午 10 点 出 发 的 价格 是 220 美 元 ， 而 6 点 出 发 的 价格 是 200 美 
元 。 对 于 价格 至 上 的 顾客 ，4 个 小 时 的 额外 睡眠 价值 20 美 元 ， 因 此 她 会 
选择 为 稍 晚 的 航班 支付 这 20 美 元 的 溢价 。 

基于 搜索 模式 ， 航 空 公 司 可 以 知道 某 一 顾客 是 偏好 于 特价 机 票 还 是 
特定 目的 地 。 她 是 否 研究 过 了 所 有 的 特价 机 票 ， 然 后 为 她 的 旅程 选择 了 
其 中 一 张 ? 或 者 她 仅仅 查看 了 到 某 一 特定 目的 地 的 机 票 ， 然 后 就 为 它 进 
行 了 支付 ? 例如 ， 对 于 一 个 大 学 生 ， 很 多 个 春季 假期 旅行 地 对 他 来 说 都 
是 一 样 的 ， 他 会 选择 其 中 价格 最 优惠 的 那个 。 而 另 一 方面 ， 一 个 定期 回 
家 的 顾客 仅仅 对 飞 往 其 家 庭 所 在 地 的 航班 感 兴趣 。 

如 果 能 够 知道 顾客 经 常 浏览 到 某 些 目的 地 的 周末 特价 机 票 ， 这 将 是 
非常 有 益 的 ， 从 中 可 以 知道 这 些 顾 客 所 看 重 的 因素 。 对 于 某 些 顾客 ， 任 
何 时 候 都 可 以 回 家 ， 关 键 是 要 等 到 飞 往 其 目的 城市 的 特价 机 票 。 一 旦 他 
们 看 到 了 特价 机 票 ， 便 会 马上 预订 。 一 旦 这 个 模式 被 识别 ， 航 空 公 司 便 
可 以 更 好 地 预知 顾客 的 需求 。 

以 上 这 些 例子 都 是 关于 如 何 将 今天 的 浏览 及 研究 模式 ， 进 一 步 与 历 
史 经 验 和 购买 记录 相 结合 ， 从 而 创造 出 巨大 的 价值 。 当 然 ， 需 要 花费 时 
间 和 努力 来 改变 针对 这 些 模式 的 分 析 流 程 。 然 而 ， 一 旦 知晓 了 网 站 吸引 
不 同 顾客 个 体 的 那些 方面 ， 便 可 以 向 这 些 被 定位 的 顾客 发 送 相关 的 信息 
以 更 高 效 地 满足 他 们 的 需求 。 





























2.2.3 ”研究 行为 





理解 顾客 如 何 利 用 网 站 的 研究 内 容 可 以 更 好 地 了 解 如 何 与 每 个 顾客 
的 个 体 进行 交互 ， 以 及 网 站 的 某 个 方面 是 否 促 进 了 销售 。 通 过 观察 顾客 
在 购买 过 程 中 所 探 守 过 的 选项 ， 可 以 推断 出 他 们 所 看 重 的 因 系 。 

例如 ， 考 虑 一 个 专注 于 销售 电影 的 在 线 商 店 。 如 果菜 些 顾 客 习 惯 于 
在 做 出 最 终 购买 决定 之 前 查看 视频 的 各 种 格式 ， 如 标准 格式 、 宽 屏 、 扩 
展 或 者 局 清 格 式 ， 这 意味 着 虽然 大 多 数 时 间 他 们 可 能 都 会 购买 条 一 种 格 
式 ， 然 而 ， 他 们 对 于 不 同 格式 其 实 是 无 所 请 的 。 那么， 可 以 每 次 都 问 这 
些 碍 看 过 所 有 格式 的 顾客 显示 所 有 的 版 本 。 然 而 ， 如 果 知 道 茶 一 顾客 从 
来 都 只 购买 东 一 种 特定 的 格式 ， 为 何 还 要 让 她 从 各 种 DVD 版 本 中 进行 挑 
i 

男 一 种 利用 网 络 数 据 理 解 顾客 研究 模式 的 方法 是 ， 鉴 别 网 站 提供 的 
哪些 信息 对 顾客 是 有 价值 的 ， 尤 其 是 对 那些 最 重要 的 顾客 。 顾 客 在 购买 
之 前 碍 看 评论 、 附 加 图 片 以 及 技术 说 明 的 频率 是 多 少 ? 要 注意 ， 通 过 跟 
踩 不 同 的 会 话 并 结合 其 他 的 顾客 数据 ， 可 以 获知 顾客 在 某 一 天 调研 之 后 
叉 在 哪 一 天 完成 了 购买 。 最 终 的 购买 事件 通常 是 目标 极其 明确 的 网 络 会 
话 ， 因 为 它 完成 了 最 终 的 交易 。 需 要 将 网 页 浏览 历史 拼接 成 一 幅 完 整 的 
图 像 。 或 许 企业 正在 考虑 去 除 挥 的 条 些 很 少 被 用 到 的 网 站 特性 ， 对 于 东 
一 类 非常 重要 的 顾客 来 说 却 是 不 可 或 缺 的 。 在 这 种 情况 下 ， 这 些 特 性 应 
该 被 保留 。 


研究 的 力量 

我 们 不 再 必须 进行 昂贵 的 、 小 规模 的 调研 ， 以 了 解 顾客 如 何在 做 出 购买 决定 之 前 调研 所 需 购 
买 的 商品 。 通 过 网 络 数据 可 以 了 解 到 顾客 个 体 和 顾客 群体 分 别 所 看 重 的 因素 。 而 且 ， 还 可 以 避 
免 某 些 顾客 言行 不 一 致 的 风险 。 这 样 做 的 话 ， 你 将 看 到 真相 。 






















































































企业 可 以 用 现 一 些 顾客 的 异常 行为 ， 他 们 在 碍 看 完 详细 的 产品 说 明 
后 放弃 了 购买 ， 但 是 那些 没有 看 过 产品 说 明 的 顾客 都 没有 做 出 此 举动 。 


通过 查看 页 面 上 的 内 容 ， 也 许 会 发 现 产 品 描述 不 够 清楚 或 者 茶 项 说 明 有 
所 琉 漏 。 通 过 对 产品 描述 进行 升级 ， 销 售 业 绩 可 以 获得 所 升 。 

阅读 评价 是 非常 重要 的 指向 标 ， 它 能 反映 出 顾客 所 看 重 的 那些 特 
征 。 哪 些 顾客 很 看 重 评价 ? 哪些 无 所 谓 ?” 哪些 商品 在 评价 被 阅览 后 失去 
了 顾客 ? 商品 评价 可 以 帮助 提升 和 突破 销售 业绩 。 一 旦 你 知道 了 哪些 顾 
客 通 第 在 阅读 评价 后 购买 商品 ， 如 果 你 发 现 他 们 在 看 了 茶 件 商品 的 评价 
后 却 放 弃 了 购买 ， 你 就 应 该 查看 一 下 这 些 评 价 了 。 或 许 有 一 些 负面 的 评 
价 会 被 有 发表， 你 可 以 确认 这 些 评价 是 否 属实 ， 他 们 提出 了 什么 问题 ， 然 
后 设法 处 理 这 些 问题 。 

最 后 ， 弄 清楚 每 个 顾客 所 看 重 的 网 站 特性 ， 以 及 顾客 如 何 通 过 网 站 
进行 商品 调研 ， 可 以 让 网 站 更 好 地 贴近 顾客 。 对 于 那些 总 爱 碍 看 详细 产 
品 说 明 的 顾客 ， 或 许可 以 在 他 们 浏览 商品 的 时 候 马 上 就 把 产品 说 明 呈 现 
出 来 。 而 对 那些 总 爱 浏 览 图 片 的 顾客 ， 或 许可 以 给 他 们 呈现 全 矿 才 的 图 
片 而 非 缩 略图 。 重 点 是 要 让 你 的 顾客 可 以 更 加 容易 地 进行 调研 ， 从 而 在 
他 们 准备 调研 和 购买 的 时 候 ， 他 们 会 选择 你 而 不 是 和 其 他 商家 进行 比 
较 。 


2.2.4 反馈 行为 


顾客 能 够 提供 的 最 有 价值 的 信息 是 关于 丙 品 和 服务 的 详细 反馈 信 
恩 。 事 实 上 ， 顾 客 愿 意 花 时 间 做 这 件 事情 意味 着 他 们 钟情 于 东 一 品牌 。 
通过 文本 挖掘 理解 顾客 反馈 的 语气 、 意 图 和 主题 ， 可 以 更 好 地 了 解 这 个 
顾客 所 看 重 的 因素 。 

某 些 顾客 是 否 会 按照 惯例 在 购买 商品 后 发 表 评 论 ? 如果 这 些 评论 通 
常 是 积极 的 ， 而 且 会 继续 被 其 他 顾客 阅读 到 ， 那 么 给 予 这 些 顾客 特殊 的 
油 励 以 获得 他 们 持续 的 积极 评价 将 是 明知 的。 类似 地 ， 通 过 分 析 顾 客 在 
线 求助 会 话 中 的 问题 和 评论 ， 不 仅 可 以 获悉 顾客 普 饥 想 要 了 解 的 事项 ， 





























也 可 以 获悉 某 个 特定 顾客 想 要 了 解 的 事项 。 如 果 通 过 分 析 发 现 某 个 特定 
的 顾客 总 是 非常 看 重 这 些 特征 ， 那 么 可 以 同 这 位 顾客 推荐 其 他 具有 类 似 
特征 的 商品 。 

某 个 顾客 是 否 是 Facebook 的 粉丝 ? 他 或 她 是 否 在 Twitter 上 关注 了 
你 ?通过 得 看 顾客 通过 这 些 渠 道上 友 表 的 评论 和 问题 ， 可 以 对 他 们 的 好 和 亚 
获得 更 多 的 了 解 。 另 外 ， 一 旦 识别 出 那些 在 社交 媒体 上 非常 积极 地 发 表 
关于 某 个 公司 评论 的 顾客 ， 企 业 可 以 考虑 培养 他 们 成 为 具有 影响 力 的 品 
牌 大 使 。 这 些 顾客 为 你 的 品牌 带 来 的 影响 力 值得 你 对 他 们 付出 额外 的 关 
注 。 要 注意 顾客 的 影响 力 并 不 一 定 和 他 们 的 个 人 价值 紧密 相关 。 一 个 通 
第 享受 标准 待遇 的 、 中 等 规模 的 客户 可 能 非常 活跃 ， 他 们 影响 力 的 价值 
超出 了 他 们 实际 为 销售 带 来 的 价值 ， 提 高 他 们 的 待遇 级 别 是 非常 明智 的 
做 法 。 


2.3 ”行动 中 的 网 络 数据 


企业 永远 无 法 获知 关于 顾客 的 所 有 情况 ， 我 们 只 能 根据 可 用 的 信息 
做 出 假设 。 如 果 只 能 驱 见 其 中 的 一 部 分 ， 根 据 它们 推 师 出 的 全 景 ， 其 准 
确 程 度 通常 已 经 足以 保证 完成 工作 。 人 然而， 也许 那些 缺失 的 信息 描绘 出 
一 幅 和 预期 大 相 径 姓 的 景象 。 在 这 种 情况 下 ， 所 做 出 的 决定 即使 不 是 完 
全 错误 的 ， 也 不 会 是 最 优 的 。 

因此 ， 企 业 应 当 努 力 收集 和 分 析 尽 可 能 多 的 数据 。 我 们 已 经 讨论 过 
了 很 多 不 同 种 类 的 网 络 数据 及 其 广泛 应 用 。 现 在 ， 让 我 们 继续 前 进 ， 来 
看 一 些 特 殊 的 例子 ， 例 如 ， 关 于 企业 如 何 利用 网 络 数据 来 提升 已 有 的 分 
析 、 促 生 新 的 分 析 ， 从 而 提升 其 业务 水 平 。 


2.3.1 最 优 的 推荐 商品 


























一 个 很 常见 的 市 场 分 析 是 针对 每 一 个 顾客 做 商品 推荐 。 在 所 有 可 用 
的 选项 里 ， 接 下 来 应 该 向 顾客 推荐 哪 件 商品 ， 从 而 使 成 功 的 几率 最 大 ? 
拥有 网 络 行为 数据 可 以 完全 改变 推荐 商品 的 决策 ， 并 且 使 这 些 决策 更 加 
稳健 。 

假设 你 在 一 家 银行 工作 ， 你 知道 顾客 Smith 先 生 的 如 下 信息 。 

四 他 有 4 个 账户 : 文 票 、 储 蓄 、 信 用 卡 和 汽车 贷款 。 

四 他 每 个 月 完成 5 次 存 称 和 25 次 提 和 多。 

田 ” 他 从 未 亲自 前 往 一 个 文 行 。 

昌 他 的 储蓄 共计 50000 美 元 。 

四 ”他 的 信用 卡 和 汽车 贷款 总 额 为 15000 美 元 。 

在 今天 晚 些 时 候 ， 你 应 该 通过 电子 邮件 向 Smith 先 生 推 荐 哪个 理财 产 
品 呢 ?根据 Smith 先 生 的 个 人 档案 ， 对 其 提供 如 下 的 选择 都 是 合理 的 ， 
例如 更 低 的 信用 卡 利率 ， 或 者 因为 他 持 有 现金 数额 很 可 观 而 推荐 一 张 
CD。 绝 大 多 数 人 都 不 会 各 Smith 先生 提供 抵押 贷款 这 种 选项 ， 因 为 这 个 
选项 看 上 去 和 他 毫 无 联系 。 然 而 ， 一 旦 我 们 查看 过 了 Smith 先 生 的 网 络 
行为 ， 一 系列 非常 关键 的 事情 路 入 我 们 的 眼帘 。 

四 他 上 个 月 浏览 了 抵押 利率 5 次 。 

四 他 得 看 了 关于 房屋 保险 的 信息 。 

四 ”他 查看 了 关于 洪水 保险 的 信息 。 

四 上 个 月 他 调研 了 房屋 贷款 方案 〈 例 如 ， 定 期 还 是 活期 ，15 年 还 是 
30 年 ) 2 次 。 

现在 很 容易 决定 接 下 来 应 该 和 Smith 先 生 讨 论 什 么 了 ， 不 是 吗 ? 


处 于 竞争 的 前 列 
利用 网 络 浏览 行为 ， 可 以 获得 能 够 需要 改变 推荐 策略 的 洞察 。 根 据 顾客 最 近 浏 览 过 的 内 容 
《很 多 情况 下 是 他 们 以 前 没有 购买 过 的 产品 或 者 产品 线 ) ， 企 业 可 以 做 出 决策 。 一 旦 网 络 数据 
提醒 你 出 现 了 新 的 机 会 ， 你 便 可 以 采取 行动 将 顾客 拉 到 新 的 产品 线 上 来 。 










































































对 于 任何 一 项 业务 ， 开 清楚 顾客 群体 是 否 依然 牢固 是 很 困难 的 。 网 
络 提供 了 关于 顾客 的 兴趣 以 及 他 们 是 否 依然 忠实 的 线索 。 设 想 一 个 目录 
零售 商 ， 它 包含 了 很 多 个 店铺 地 址 。 目 录 中 要 收集 每 个 顾客 在 其 他 数据 
中 的 以 下 信息 。 

四 最近 浏 览 过 的 商品 。 

四 ”最近 评 价 过 的 商品 。 

四 购买 历史 记录 。 

上 ”营销 活动 及 反馈 记录 。 

这 些 数据 被 编纂 并 分 析 ， 以 决定 每 个 顾客 对 哪些 产品 最 感 兴趣 。 寄 
出 的 目录 内 容 、 长 度 ， 以 及 每 个 目录 中 推荐 的 商品 都 会 被 调整 。 与 编目 
人 的 传统 做 法 相 比 ， 这 些 调整 很 大 程度 上 改变 了 促销 的 方法 ， 并 导致 了 
如 下 的 结果 。 

四 邮件 总 数 的 减少 。 

四 ”促销 目录 页 总 数 的 减少 。 

四 总 利润 的 极 大 增加 。 

网 络 数据 可 以 帮助 将 所 有 业务 进行 彻底 改善 。 





2.3.2 ”流失 模型 





在 电信 行业 ， 企 业 付 出 了 很 多 时 间 和 精力 来 创建 、 增 强 和 完善 “ 流 
失 ” 模 型 。 流 失 模 型 指出 了 那些 最 有 可 能 注销 账户 的 顾客 ， 从 而 可 以 及 
早 采 取 措 施 以 防止 这 些 客户 流失 。 对 于 行业 来 说 ， 流 失 是 一 个 非常 严重 
的 问题 ， 会 使 大 量 的 资金 处 在 危险 中 。 这 些 模型 对 于 账目 的 底线 有 很 大 
的 影响 。 

管理 客户 流失 一 直 是 ， 而 且 以 后 仍 将 是 ， 理 解 客户 使 用 情况 和 收益 
的 关键 。 想 象 一 下 ， 如 果 今 天 能 把 网 络 数据 用 于 适当 的 环境 中 ， 将 会 造 
成 多 么 巨大 的 改观 。Smith 夫 人 是 101 电 信和 运营 商 的 顾客 ， 她 在 Google 搜 














索 栏 里 输入 了 “我 如 何 取消 与 101 电 信和 运营 商 的 合约 ? ”。 然 后 她 从 一 个 
链接 进入 到 了 101 电 信和 运营 商 的 合约 取消 政策 网 页 。 想 象 一 下 ， 与 其 他 
数据 相 比 ， 这 个 用 户 数据 对 于 流失 模型 以 及 采取 进一步 的 有 效 措施 是 多 
么 的 及 时 和 重要 。 

很 难 想 象 取消 合约 意愿 的 指 同 标 要 比 了 解 Smith 夫 人 调研 取消 合约 以 
及 完成 取消 请 求 的 最 终 过 程 更 加 重要 。 或 许 分析 专 家 已 经 看 到 了 她 使 用 
率 的 降低 ， 或 许 他 们 还 没有 看 到 。 通 利 需 要 几 周 或 几 个 月 的 时 间 才 能 发 
现 使 用 模式 的 改变 。 然 而 ， 通 过 收集 Smith 夫 人 的 网 络 行为 ，101 电 信和 运 
营 商 可 以 更 快 地 采取 措施 以 避免 失去 Smith 夫 人 这 个 顾客 。 

如 果 不 能 在 早期 就 发 现 那些 正在 研究 取消 合约 选项 的 顾客 ， 那 么 就 
意味 着 直到 客户 心意 已 决 ， 并 且 男 外 一 个 对 手 已 经 万 得 了 他 们 的 业务 
时 ， 我 们 才 开 始 想 办 法 把 客户 村 回来。 大 多 数 这 样 的 情景 都 已 经 为 时 过 
晚 ， 丢 失 的 客户 已 经 无 法 再 被 挽回 。 

















2.3.3” 啊 应 模型 





很 多 模型 用 来 帮助 预测 当 要 求 顾客 对 某 项 请 求 进行 啊 应 时 ， 他 们 可 
能 做 出 的 选择 。 这 些 模 型 通常 会 试图 预测 哪些 顾客 会 购买 或 接受 某 项 服 
务 ,， 或 者 点 击 某 个 电子 邮件 链接 。 这 样 的 模型 通常 使 用 一 种 叫做 逻辑 回 
归 分 析 的 技术 。 这 些 模型 通常 被 称 为 啊 应 模型 或 倾 癌 模型 。 我 们 刚刚 提 
到 的 流失 模型 也 属于 这 一 类 模型 。 区 别 在 于 ， 流 失 模 型 的 目的 是 为 了 预 
测 负面 的 行为 《流失 ) 而 不 是 正面 的 行为 “购买 或 啊 应 ) 。 

当 使 用 啊 应 模型 或 倾 癌 模型 时 ， 会 将 所 有 顾客 根据 其 采取 行动 的 可 
能 性 进行 打分 和 评级 。 然 后 ， 根 据 评 级 的 结果 生成 不 同 的 群 组 ， 以 对 不 
同 群 组 内 的 顾客 采取 不 同 的 措施 。 理 论 上 讲 ， 每 个 顾客 的 分 值 是 唯一 
的 。 但 在 实际 中 ， 由 于 这 些 模型 中 只 有 少数 几 个 变量 ， 因 此 最 终 可 能 会 
有 很 多 顾客 的 分 值 是 相同 或 几乎 相同 的 。 对 于 那些 不 经 第 局 消费 的 顾 














客 ， 情 况 尤 其 如 此 。 在 这 种 情况 下 ， 很 多 分 值 非常 低 并 且 很 相近 的 顾客 
最 终 会 被 划 入 同一 个 很 大 的 群体 中 。 

网 络 数据 可 以 极 大 地 帮助 区 分 顾客 ， 尤 其 是 对 于 那些 不 常 购物 的 或 
分 值 很 低 的 顾客 ， 可 以 根据 他 们 的 网 络 数 据 将 他 们 的 分 值 进 行 大 幅 地 提 
升 。 让 我 们 来 看 一 个 具体 的 例子 ， 我 们 首先 利用 一 个 变量 很 少 的 响应 模 
型 对 4 个 顾客 进行 打分 。 由 于 这 些 顾客 对 模型 中 每 个 变量 的 取 值 都 相 
同 ， 因 此 它们 最 终 的 分 值 完 全 相同 。 这 些 分 值 都 是 假想 的 ， 因 此 不 必 担 
心 它们 是 被 如 何 计算 出 来 的 。 这 4 个 顾客 的 档案 如 下 所 示 。 

四 ”上 一 次 购买 在 90 天 之 内 。 

上 一 年 总 共 消费 6 次 。 

总 共 花 费 了 200 一 300 美 元 。 

拥有 住房 者 ， 预 计 家 庭 收入 为 100000 一 150000 美 元 。 
忠诚 计划 的 会 员 。 

上 一 年 所 购买 特色 产品 的 目录 。 

在 这 个 例子 中 ， 所 有 的 顾客 都 得 到 了 完全 相等 的 分 值 ， 并 且 看 起 来 
响应 的 可 能 性 也 是 相同 的 。 假 设 他 们 的 分 值 都 是 0.62， 任 何 基 于 这 个 模 
型 的 营销 项 目 都 会 将 这 4 个 顾客 同等 对 待 。 毕 竟 ， 基 于 以 上 的 这 些 信息 
是 无 法 将 他 们 进行 区 分 的 ， 他 们 看 起 来 完全 一 样 ! 

现在 ， 利 用 网 络 数据 ， 让 我 们 来 看 一 下 情况 发 生 了 什么 样 的 明显 改 
变 。 看 一 下 网 络 数据 如 何 为 我 们 提供 强大 的 新 信息 。 

曙 ”顾客 1 从 未 访问 过 你 的 网 站 ， 因 此 他 的 分 值 降低 到 了 0.54。 

四 顾客 2 上 个 月 浏览 过 你 们 提供 的 产品 ， 因 此 他 的 分 值 提高 到 了 
0.67。 

四 ”顾客 3 上 个 月 浏览 过 你 们 提供 的 特色 产品 ， 因 此 他 的 分 值 提高 到 
了 0.78。 

四 ”顾客 4 上 一 周 浏览 过 你 们 提供 的 特色 产品 3 次 ， 有 一 次 将 其 放 入 购 
物 车 ， 然 后 取消 ， 但 是 后 来 又 再 次 浏览 了 该 商品 ， 因 此 他 的 分 值 提 高 到 




















了 0.86。 

即使 顾客 尚未 达成 购买 意愿 ， 网 络 行为 仍 可 以 让 我 们 明确 顾客 当前 
的 兴趣 ， 从 而 可 以 对 顾客 进行 更 好 地 打分 ， 并 将 其 严格 进行 区 分 ， 这 在 
以 前 是 根本 无 法 区 分 开 的 。 现 在 ， 将 这 4 个 顾客 的 例子 延伸 到 不 同 渠 
道 、 几 百 万 顾客 上 ， 你 将 看 到 巨大 的 改观 。 

当 被 问 到 利用 网 络 数据 所 市 来 的 价值 时 ， 一 个 来 自 多 渠道 美国 专业 
零售 商 的 市 场 总 监 这 样 回答 , “这 就 像 是 在 印 钞票 ! ”好 消息 是 ， 不 管 有 
没有 网 络 数据 ， 都 很 容易 建立 起 验证 模型 ， 这 些 模型 要 验证 在 任意 给 定 
情况 下 ， 业 绩 是 否 得 到 了 改进 。 事 实 上 ， 这 种 对 企业 环境 造成 影响 的 测 
试 不 会 市 来 任何 风险 。 

















2.3.4 ”顾客 分 类 





网 络 数 据 使 得 很 多 全 新 的 分 析 方 法 成 为 可 能 。 其 中 一 种 是 根据 顾客 
的 典型 浏览 模式 将 他 们 进行 分 类 。 比 起 传统 的 基于 人 口 和 销售 的 分 类 ， 
这 种 分 类 提供 了 一 个 关于 顾客 的 全 新 视角 。 男 外 ， 这 种 分 类 也 可 以 产生 
独特 的 见解 和 行动 。 

考虑 一 个 名 字 为 梦想 者 的 基于 浏 贤 行 为 的 分 类 。 梦 想 者 们 重复 地 将 
菏 件 商品 放 入 他 们 的 购物 车 ， 然 后 又 取消 。 梦 想 者 总 是 多 次 添加 和 取消 
同一 件 商 品 。 对 于 茶 些 昂贵 的 商品 ， 例 如 ， 电 视 或 者 电脑 ， 这 种 情况 万 
为 常见 。 不 难 找 出 哪些 人 进行 了 这 样 的 重复 操作 。 而 一 旦 他 们 被 友 现 
了 ， 你 可 以 做 些 什么 呢 ? 

一 个 可 取 的 方法 是 看 一 下 这 些 顾客 正在 取消 哪些 商品 。 也 许 茶 个 顾 
客 正 在 看 一 个 非常 昂贵 的 高 清 电视 。 你 在 过 去 已 经 发 现 这 个 顾客 经 常 挑 
选 价格 过 高 的 商品 ， 在 重复 选择 和 取消 很 多 次 之 后 ， 却 最 终 购买 了 另 一 
件 稍微 便宜 一 些 的 商品 。 那 么 ， 给 他 发 一 封 电子 邮件 ， 并 告诉 他 那些 具 
备 大 多 数 相同 特征 但 稍微 便宜 一 些 的 产品 ， 或 许可 以 帮助 他 迅速 下 定 决 

















心 完 成 购买 。 


从 网 络 数据 中 崛起 的 新 分 析 
有 很 多 种 数据 源 都 可 以 用 于 顾客 分 类 。 销 售 、 人 口 统计 、 问 卷 反馈 只 是 其 中 几 种 。 现 在 ， 还 
可 以 根据 浏览 行为 对 顾客 进行 分 类 。 从 中 可 以 了 解 顾客 的 购物 风格 和 思考 过 程 ， 并 为 你 的 分 类 


准则 提供 一 个 非常 重要 的 、 额 外 的 维度 。 



























































另外 一 种 方法 也 随处 可 见 。 对 顾客 取消 购物 车 商品 的 统计 信息 稍 加 
调整 ， 便 可 用 于 对 顾客 进行 分 类 。 在 企业 看 来 ， 购 物 车 中 的 商品 被 取消 
通 第 意味 着 失败 。 然 而 ， 通 过 查看 浏览 历史 ， 可 以 确认 有 10 件 被 取消 的 
商品 是 由 于 某 个 顾客 定期 重复 地 取消 很 多 商品 导致 的 。 因 此 ， 其 取消 商 
品 的 次 数 可 以 降低 ， 而 且 所 有 对 这 件 商 品 的 取消 都 可 以 看 作 同 一 次 取 
消 。 这 使 得 对 商品 取消 有 了 更 加 清楚 的 认识 。 将 这 类 顾客 的 统计 数据 调 
整 后 ， 平 均 的 取消 率 要 比 开 始 时 更 低 一 些 。 不 仅 新 的 数字 看 起 来 更 课 
亮 ， 而 且 它们 也 是 对 现实 更 加 真实 的 反映 。 


2.3.5 ”评估 广告 效果 


更 好 地 评 佑 付费 搜索 和 广告 效果 是 用 户 网 络 数据 所 产生 的 另 一 种 高 
影响 力 的 分 析 。 传 统 的 网 络 分 析 专 家 仅 提 供 一 些 高 度 概 括 的 信息 ， 如 氮 
击 总 数 、 搜 索 总 数 、 每 次 点 击 或 展示 费用 、 点 击 次 数 最 多 的 关键 词 ， 以 
及 网 页 位 置 统计 等 。 然 而 ， 这 些 指标 部 是 总 体 水 平 的 指标 ， 是 对 个 体 浏 
览 会 话 的 总 体 反 映 。 它 们 的 使 用 环境 也 通常 仅 限 于 网 络 渠道 。 

这 意味 着 所 有 的 统计 信息 都 基于 通过 搜索 和 广告 点 击 产 生 的 单个 会 
话 。 一 旦 顾客 离开 网 站 ， 并 且 网 络 会 话 结束 ， 分 析 的 范围 也 到 此 为 止 。 
统计 信息 里 并 没有 考虑 过 去 和 将 来 的 访问 。 通 过 整合 顾客 的 浏览 数据 ， 
并 将 视野 拓展 到 其 他 渠道 ， 有 可 能 在 一 个 更 深 的 层次 上 对 搜索 和 广告 效 
应 进行 评估 。 






































四 广告 或 搜索 词 所 产生 的 网 站 访问 ， 是 人 否 和 最 有 价值 的 顾客 或 价值 
最 低 的 顾客 相关 联 ? 

”在 顾客 第 一 次 反击 之 后 的 数 天 或 数 周 内 ， 最 初 的 会 话 有 多 少 转化 
为 了 销量 ? 

四 ” 某 些 推荐 网 站 是 否 比 其 他 网 站 吸引 了 更 多 的 访客 ， 并 且 销 量 更 


二 ? 


高 ? 

四 ”通过 对 其 他 渠道 的 活跃 度 进行 跨 渠 道 的 分 析 ， 网 络 广告 和 搜索 所 
产生 的 购买 兴趣 是 否 导 致 了 第 二 渠道 的 销量 大 幅 降 低 ? 

让 我 们 来 看 一 下 这 个 来 自 金 融 机 构 的 例子 。 信 用 卡 申请 已 经 随处 可 
见 ， 在 电子 邮件 、 杂 志 、 网 络 中 ， 到 处 都 能 看 到 申请 信用 卡 的 广告 。 本 
例 中 的 银行 理解 “眼球 和 点 击 ” 仅 仅 是 整个 营销 的 一 部 分 。 在 点 击 之 后 ， 
你 才能 够 看 到 广告 投放 带 来 的 价值 。 

银行 进行 了 大 规模 的 分 机， 并 且 挖 掘 到 了 更 深 的 层次 ， 而 不 局 限于 
最 初 会 话 中 的 点 击 。 它 们 还 跨 时 段 地 查看 顾客 的 数据 和 会 话 ， 以 评估 申 
请 进度 、 顾 客服 务 查 询 、 信 用 卡 发 放 、 激 活 和 初始 信贷 消费 。 这 些 点 击 
之 外 的 广告 效果 ， 可 以 帮助 我 们 更 加 全 方位 地 了 解 如 何 成 功 地 投放 广告 
并 且 更 明智 地 分 配 广告 预算 。 


为 什么 把 你 目 己 局 限 在 当下 

人 仅 了 解 那些 始 于 广告 、 电 子 邮 件 链接 或 搜索 的 单个 网 络 会 话 所 带 来 的 产 出 ， 会 错过 真正 的 
关键 点 。 很 多 顾客 会 回来 继续 完成 他 们 之 前 的 交易 ， 甚 至 会 通过 不 同 的 渠道 。 传 统 的 网 络 分 析 
专家 不 会 考虑 初始 会 话 之 后 的 行为 ， 也 不 会 考虑 会 话 之 前 的 行为 。 请 升级 你 的 技能 以 处 理 这 两 
种 情况 。 















































































































































利用 详细 的 、 顾 客 层面 的 网 络 数据 ， 可 以 通过 更 广阔 的 视野 ， 而 不 
仅仅 是 初始 网 络 会 话 的 汇 吕 结果， 以 真正 理解 哪些 广告 、 关 键 词 或 推荐 
网 站 导致 了 “最 优 ” 的 点 击 。 通 过 这 些 扩 展 的 、 跨 渠道 的 、 跨 时 段 的 视野 





所 提供 的 额外 知识 ， 可 以 看 到 一 些 之 前 看 不 到 的 景象 。 能 够 理解 这 种 更 
深层 关系 的 企业 将 有 机 会 使 用 新 的 战略 ， 这 些 战 略 是 那些 使 用 传统 分 析 
方法 的 企业 所 无 法 理解 的 。 这 是 一 个 颇具 竞争 力 的 优势 。 


2.4 ”本章 小 结 


以 下 是 本 章 的 重点 内 容 。 

四 ”整合 详细 的 、 顾 客 层 面 的 网 络 行为 数据 ， 将 有 能 力 改变 企业 对 顾 
客 的 认识 。 

四 正如 区 易 数据 引发 了 分 析 能 力 和 分 析 深 度 的 变革 ， 网 络 数据 同样 
会 把 分 析 融 到 新 的 高 度 。 

四 ”还 有 一 些 其 他 的 客户 接触 点 可 以 通过 类 似 于 网 站 的 方式 被 人 奶 踩 
到 ， 例 如 ,信息 服 务 旦 、 移 动 电话 应 用 等 ， 同 样 的 原理 对 它们 也 适用 。 

四 ”任何 可 以 被 收集 的 数据 都 应 当 被 收集 ， 包 括 页 面 视图 、 搜 索 、 下 
载 以 及 在 其 他 网 站 上 的 活动 。 

四 ”隐私 是 关于 网 络 数据 最 主要 的 考虑 ， 在 制定 这 些 数据 如 何 被 使 用 
的 政策 时 ， 一 定 要 小 心 谨慎 。 这 些 政策 一 定 要 被 严格 地 执行 和 遵守 。 

@@ ”通过 分 析 蒙 面 碳 客 可 以 获得 极 大 的 利益 ， 企 业 仅 仅 通 过 一 个 随机 
的 ID 来 识别 这 些 顾客 。 通 过 这 种 方式 ， 不 管 是 分 析 专 家 还 是 其 他 人 ， 都 
无 法 确定 每 个 顾客 的 真实 身份 。 重 要 的 是 发 现 其 中 的 模式 。 

四 网 络 数据 使 得 你 可 以 获悉 详细 的 顾客 购物 行为 、 购 买 路 径 、 调 研 
行为 以 及 反馈 行为 ， 束 像 是 你 几乎 可 以 读 懂 顾客 的 想法 一 样 。 

图 ”网络 数据 使 得 推荐 商品 、 流 失 模 型 、 啊 应 模型 、 顾 客 分 类 、 顾 客 
搜索 及 在 线 广告 分 析 等 方面 都 取得 了 更 好 的 效果 。 

四 ”成 为 早期 的 技术 采用 者 ， 并 处 于 竞争 前 列 的 机 会 稍 纵 即 逝 。 现 在 
就 开始 学 习 如 何 罗 驭 大 数据 吧 ! 


























第 3 草 


典型 大 数据 源 及 其 价值 


当 你 开车 路 过 一 家 和 餐厅 的 停车 场 时 ， 你 的 手机 屏幕 上 弹出 了 这 家 和 餐 
厅 的 当日 特价 菜品 推荐 ， 这 种 体验 是 不 是 很 棒 ? 如 果 赌 场 老 板 把 发 牌 人 
忘记 付 给 你 的 20 美 元 亲自 送 还 给 你 ， 你 的 心里 是 不 是 有 点 儿 小 激动 ?如 
果 在 线 视频 游戏 能 够 把 和 我 们 玩法 相近 的 用 户 即 刻 告 知 我 们 ， 这 世界 会 
不 会 变 得 很 美妙 ? 你 是 不 是 要 下 调 汽车 保险 费 率 ?” 大 数据 能 让 这 一 切 变 
成 现实 。 

在 第 2 草 中 ， 我 们 已 经 讨论 过 了 网 络 数据 。 网 络 数据 即使 不 是 最 原始 
的 大 数据 源 ， 也 是 使 用 最 广泛 、 认 可 度 最 高 的 大 数据 源 。 除 此 之 外 ， 还 
有 很 多 大 数据 源 ， 它 们 都 有 各 目的 使 用 价值 。 其 中 一 些 广为人知 ， 而 刀 
些 几 乎 没有 名 气 。 我 们 在 此 要 借用 本 章 的 篇 幅 一 起 来 回顾 除 网 络 数据 
以 外 的 其 他 9 种 大 数据 源 以 及 它们 的 用 途 。 我 们 将 站 在 一 个 较 高 的 层次 
上 讲解 这 部 分 内 容 ， 意 图 是 在 简单 描述 各 类 数据 源 的 基础 上 ， 回 顾 每 种 
大 数据 源 的 应 用 与 商业 含义 。 

第 2 音 和 第 3 章 并 不 是 要 介绍 排名 前 10 位 的 大 数据 源 ， 而 且 排名 在 前 
10 位 也 不 意味 着 它们 就 是 最 重要 的 10 种 大 数据 源 。 同 理 ， 我 们 的 讲解 顺 
序 也 并 没有 暗合 任何 级 别 高 低 。 我 们 的 重点 是 有 代表 性 地 描述 大 数据 
源 ， 并 希望 该 者 们 能 够 理解 现 有 大 数据 的 广度 和 种 类 ， 以 及 大 数据 分 析 
能 够 达到 的 广度 。 和 希望 每 一 位 读者 都 能 从 中 找到 目 己 感 兴 趣 的 地 方 。 

我 们 发 现 了 一 个 非 冲 明显 的 趋势 ， 各 行 各 业 虽 然 生 成 了 许多 大 数据 
源 ， 但 其 底层 的 支撑 技术 却 是 相同 的 。 而 且 ， 不 同行 业 还 可 以 使 用 相同 
的 大 数据 源 。 大 数据 并 非 只 有 单一 的 用 途 ， 它 的 影响 将 会 非常 深远 。 

我 们 将 要 讨论 以 下 几 种 大 数据 源 。 

四 ”汽车 保险 业 : 车 载 信息 服务 数据 的 价值 。 









































多 个 行业 : 文本 数据 的 价值 。 

多 个 行业 : 时 间 数 据 与 位 置 数据 的 价值 。 
零售 制造 业 : RFID 数 据 的 价值 。 

电力 行业 : 智能 电网 数据 的 价值 。 

博彩 业 : 筹码 跟踪 数据 的 价值 。 

工业 发 动机 和 设备 : 传感器 数据 的 价值 。 
视频 游戏 : 遥测 数据 的 价值 。 

电信 业 与 其 他 行业 : 社区 网 络 数据 的 价值 。 


3.1 汽车 保险 业 : 车 载 信 息 服 务 数据 的 价值 


车 载 信息 服 务 在 汽车 保险 行业 中 的 关注 度 非常 高 。 车 载 信 息 服务 是 
通过 汽车 内 置 的 传感器 和 黑 盒 来 收集 和 掌握 车 辆 的 相关 信息 。 我 们 可 以 
配置 不 同 的 方案 ， 使 用 黑 盒 来 监测 所 有 的 汽车 数据 。 我 们 可 以 监测 车 
速 、 行 驶 里 程 ， 以 及 汽车 是 否 安装 了 紧急 制 动 系统 。 车 载 信息 服务 数据 
能 够 帮助 保险 公司 更 好 地 理解 客户 的 风险 等 级 ， 并 设置 合理 的 保险 费 
率 。 如 果 彻 底 地 忽略 隐私 问题 ， 车 载 信 息 服务 装置 可 以 跟踪 到 汽车 去 过 
的 所 有 地 点 、 何 时 到 达 的 、 以 多 快 的 速度 、 使 用 了 汽车 的 哪些 功能 等 。 

车 载 信 息 服务 可 以 潜在 地 降低 司机 的 保险 费 率 ， 并 提升 保险 公司 的 
收益 。 它 是 怎样 做 到 在 降低 费 率 的 同时 提升 收益 呢 ? 答案 就 在 于 保险 公 
司 要 根据 风险 评估 来 进行 保险 定价 。 传 统 的 风险 评估 方法 使 用 的 是 年 
龄 、 人 口 统计 特征 以 及 个 人 意外 伤害 历史 这 类 数据 ， 它 们 只 能 提供 高 层 
次 的 概要 信息 。 对 于 驾驶 记录 没有 任何 问题 的 车 主 ， 传 统 方法 根本 没 办 
法 把 他 们 和 附近 的 其 他 人 区 分 开 。 

保险 公司 要 未 雨 绸 缪 ， 并 做 好 最 坏 的 打算 。 它 们 要 和 弄 清 楚 哪些 人 放 
在 哪个 风险 范围 上 是 最 安全 的 ， 一 般 情 况 下 ， 它 们 会 先 假定 这 些 人 的 风 
险 是 位 于 该 风险 范围 较 高 的 一 端 。 汽 车 保险 公司 对 车 主 的 行为 习惯 和 实 

















际 风险 了 解 得 越 详细 ， 风 险 范 围 束 会 越 罕 ， 同 时 认定 范围 内 出 现 需 要 提 
升 费 率 的 最 坏 情况 的 可 能 性 就 会 比较 小 。 这 就 是 为 什么 可 以 同时 降低 保 
仿 费 率 和 提升 收益 的 原因 。 如 果 保 险 公司 认为 投保 个 体 的 风险 较 好 ， 那 
么 保险 公司 将 可 以 更 好 地 了 解 每 个 人 的 风险 状况 ， 预 计 必 须 文 出 的 保费 
就 不 会 发 生 太 大 变化 。 

全 球 很 多 国家 的 保险 公司 都 在 使 用 车 载 信息 服务 ， 而 且 数 量 越 来 越 
多 。 早 期 项 目的 注意 力 放 在 从 汽车 上 收集 最 少 的 信息 ， 例 如 ， 它 们 并 不 
关心 汽车 去 过 什么 地 方 。 早 期 项 目 跟 踊 的 是 汽车 开 了 多 远 、 什 么 时 候 开 
的 车 、 是 否 超 速 和 是 否 使 用 了 大 量 的 紧急 制 动 。 这 些 信息 都 是 非常 基本 
的 信息 ， 不 牵涉 到 个 人 隐私 ， 是 故意 设计 成 这 样 的 。 因 为 避免 了 收集 高 
度 敏 感 的 信息 ， 所 以 才 会 被 广泛 地 接受 。 这 个 道理 也 同样 适用 于 商业 车 
队 。 如 果 保 险 公 司 了 解 到 公司 车 队 更 多 的 用 车 情况 ， 那 么 它 为 公司 车 队 
确定 保险 费 率 也 就 更 容易 。 

车 载 信息 服务 数据 最 初 是 作为 一 种 工具 出 现 的 ， 它 可 以 帮助 车 主 和 
公司 获得 更 好 的 、 更 有 效 的 车 辆 保险 。 再 过 一 段 时 间 ， 等 到 许多 交通 工 
具 都 安装 了 和 车载 信 息 服 务 装 置 后 ， 那 时 保险 业 以 外 的 行业 也 可 以 使 用 车 
载 信息 服务 数据 了 。 现 在 ， 公 共 汽 车 已 经 有 了 和 车载 计 算 机 管理 系统 ， 但 
是 车 载 信 息 服 务 设备 可 以 将 其 提升 到 一 个 新 的 层次 。 和 车载 信息 服务 数据 
还 有 一 些 有 趣 的 应 用 ， 我 们 来 看 一 下 这 些 应 用 。 

使 用 车 载 信息 服务 数据 

如 打车 载 信息 服务 真 的 开始 大 规模 应 用 ， 一 定 会 出 现 许多 令 人 兴 
的 分 析 应 用 。 想 象 一 下 ， 以 后 全 国有 数 以 千 万 计 的 汽车 都 安装 了 车 载 信 
奶 服 务 装 置 ， 那 时 候 第 三 方 研究 公司 会 以 匿名 的 方式 为 客户 收集 非常 详 
细 的 车 载 通信 数据 。 与 为 保险 收集 的 有 限 数据 不 同 ， 这 时 数据 收集 是 以 
分 钟 或 秒 为 频率 ， 且 收集 内 容 包括 但 不 限于 速度 、 位 置 、 方 向 和 其 他 有 
用 的 信息 。 
































无 论 交 通 是 否 阻 豆 ， 无 论 什 么 日 期 ， 这 种 数据 反 锯 方式 都 会 提供 大 
量 的 车 载 通 信 信 息 。 研 究 人 员 可 以 知道 每 辆 车 在 道路 上 的 行驶 速度 ， 他 
们 还 可 以 知道 车 流 开始 的 时 间 、 结 束 的 时 间 ， 以 及 持续 的 时 间 。 这 种 真 
实 的 交通 流 信息 视图 将 会 多 么 令 人 惊讶 ! 试想 这 会 对 交通 阻 窄 和 道路 系 
统 规划 的 研究 产生 多 么 大 的 影响 ! 


无 心 插 柳 柳 成 阴 
车 载 信 息 服务 数据 的 多 种 用 途 只 是 一 个 例子 ， 它 说 明了 可 以 用 最 初 预见 不 到 的 方式 来 使 用 大 
数据 。 对 于 某 种 特定 的 数据 源 ， 我 们 最 后 发 现 它 最 有 效 的 用 途 可 能 与 其 创建 之 初 的 用 途 大 相 径 
姓 。 面 对 我 们 碰 到 的 每 一 类 大 数据 源 ， 我 们 要 开拓 思路 ， 多 想 想 常规 之 外 的 其 他 用 途 。 















































































































































如 条 研究 人 员 能 够 掌握 大 量 汽车 在 每 一 个 高 峰 时 段 、 每 一 天 、 每 个 
城市 中 的 动 旬 ， 他 们 就 能 非常 清晰 地 判断 出 车 流产 生 的 前 因 后 果 。 此 
外 ， 还 能 但 明 下 述 问题 的 答案 。 

一 个 在 路 中 央 的 轮胎 会 对 交通 产生 什么 影响 ? 
左 侧 车 道 堵车 会 友 生 什么 ? 
如 末路 口 的 交通 灯 不 同步 ， 会 产生 何 种 结果 ? 

四 哪些 十 字 路 口 虽然 按照 预期 设 定 方式 工作 ， 但 通行 时 间 的 设计 仍 
然 不 合理 ? 

四 ”如 打 菜 条 道路 堵塞 ， 堵 塞 会 以 多 快 的 速度 蔓延 到 其 他 道路 ? 

即使 我 们 集中 精力 投入 到 昂贵 的 测试 中 ， 现 在 要 想 有 效 地 研究 诸如 
此 类 的 问题 也 几乎 是 不 可 能 的 。 除 非 我 们 安排 人 手 来 实际 地 监测 每 一 条 
道路 ， 记 录 下 所 有 的 信息 ， 只 有 这 样 我 们 才能 解决 区 通 堵塞 的 问题 。 或 
者 ， 我 们 可 以 安装 大 量 的 传感器 来 监测 过 往 的 车 辆 ， 还 可 以 安装 视频 摄 
像 凑 ， 但 这 些 选 择 因 为 成 本 问题 被 严重 限制 了 推广 。 

交通 道路 工程 师 做 梦 都 想得到 我 们 捷 讲 的 车 载 通信 信息 。 如 果 和 车 载 
通信 装置 变 得 随处 可 见 ， 那 任何 交通 拥堵 的 地 方 都 能 被 发 现 。 城 市 道路 








和 区 通 管 理 系统 的 革新 ， 以 及 城市 道路 建设 规划 ， 都 将 惠及 普通 大 众 。 
车 载 通信 刚 开 始 出 现时 是 为 了 满足 保险 定价 的 需求 ， 但 有 了 它 还 可 以 组 
解 交 通 压力 和 驾驶 员 堵 车 时 焦 忽 等 竺 的 心情 ， 它 的 存在 终 将 使 蜗 速 公路 
的 管理 模式 发 生 革 命 性 的 改变 。 


3.2 多 个 行业 : 文本 数据 的 价值 


文本 是 最 大 的 也 是 最 常见 的 大 数据 源 之 一 。 想 想 我 们 周围 有 多 少 文 
本 信息 的 存在 ， 电 子 邮 件 、 短 信 、 人 铀 博 、 社 交 巡 体 网 站 的 帖子 、 即 时 通 
信 、 实 时 会 议 以 及 可 以 转换 成 文本 的 录音 信息 。 文 本 数据 是 现在 结构 化 
程度 最 低 的 ， 也 是 最 大 的 大 数据 源 。 邓 运 的 是 ， 我 们 在 驾驭 文本 数据 、 
利用 文本 数据 来 更 好 地 做 商业 决策 方面 已 经 做 了 很 多 工作 。 

文本 分 析 一 般 会 从 解析 文本 开始 ， 然 后 将 各 种 单词 、 短 语 以 及 包含 
文本 的 部 分 赋予 语义 。 我 们 可 以 通过 简单 的 词 频 统 计 ， 或 更 复杂 的 操作 
来 进行 文本 分 析 。 自 然 语言 处 理 中 已 经 有 很 多 诸如 此 类 的 分 析 了 ， 这 里 
我 们 就 不 再 更 述 。 文 本 挖掘 工具 是 主流 分 析 套 件 中 一 个 不 可 或 缺 的 组 成 
部 分 。 此 外 ， 我 们 还 能 找到 许多 独立 的 文本 挖掘 工具 包 。 其 中 一 些 文本 
分 析 工 具 使 用 基于 规则 的 方法 ， 用 户 需 要 调整 软件 才能 找到 目 己 感 兴趣 
的 模式 。 忆 一 些 工具 则 使 用 机 喜 学 习 和 其 他 算法 目 动 地 发 现 数据 模式 。 
每 种 方法 都 各 有 利弊 ， 其 相关 论述 已 经 超出 了 本 书 的 范围 。 我 们 关心 的 
是 如 何 使 用 生成 的 结果 ， 而 不 是 使 用 工具 产生 结果 的 过 程 。 

做 完 文 本 解析 和 分 类 以 后 ， 我 们 就 可 以 分 析 这 些 过 程 所 产生 的 结果 
了 。 文 本 挖 气 过 程 的 输出 结果 通常 是 其 他 分 析 注 程 的 输入 。 例 如 ， 如 果 
能 够 分 析出 客户 使 用 电子 邮件 的 情感 ， 就 能 利用 一 个 变量 将 客户 的 情感 
标记 为 正面 情感 或 负面 情感 。 这 种 标记 本 喘 是 一 种 结构 化 的 数据 ， 可 以 
作为 分 析 流 程 的 输入 。 使 用 非 结构 化 的 文本 创建 结构 化 的 数据 ， 这 个 过 
程 通常 称 为 信息 提取 。 












































为 一 个 例子 是 ， 假 定 我 们 能 够 在 客户 与 公司 往来 的 邮件 中 识别 出 他 
们 对 公司 茶 些 产 品 的 评价 ， 我 们 就 能 利用 一 系列 变量 来 标识 客户 的 产品 
评价 。 这 些 变 量 本 里 也 是 结构 化 的 度量 指标 ， 可 以 用 来 做 分 析 。 上 述 这 
些 例子 解释 了 如 何 捕获 非 结构 化 数据 片段 ， 并 从 中 提取 出 相关 的 结构 化 
数据 。 


从 非 结 构 化 文本 中 提取 结构 数据 

文本 分 析 的 例子 很 好 地 说 明了 该 过 程 ， 获 取 非 结构 化 数据 ， 然 后 处 理 该 数据 ， 最 后 创建 出 可 
以 用 于 分 析 和 报表 过 程 的 结构 化 数据 。 驾 驭 大 数据 的 一 个 重要 部 分 是 ， 利 用 这 种 创造 性 的 方式 
将 非 结构 化 数据 和 半 结构 化 数据 变 成 可 用 于 分 析 的 数据 。 






























































解释 文本 数据 实际 上 是 相当 困难 的 。 强 调 的 词汇 和 语 境 不 同 ， 同 一 
个 单词 表达 出 来 的 意思 就 不 同 。 面 对 纯 文 本 ， 我 们 根本 不 知 遭 重点 在 哪 
里 ， 也 不 知道 整个 语 境 。 这 说 明 我 们 得 事先 进行 一 些 假设 ， 我 们 会 在 第 
6 章 中 更 详细 地 讨论 这 个 问题 。 

文本 分 析 既 是 一 门 艺术 ， 也 是 一 门 科学 ， 总 会 存在 一 定 的 不 确定 
性 。 文 本 分 析 往 往 会 有 分 类 错误 和 含义 模糊 的 问题 。 没 错 ， 如 果 我 们 在 
文本 集合 中 发 现 了 更 好 的 决策 文 持 模 式 ， 那 就 应 该 使 用 它 。 文 本 分 析 的 
目标 是 改进 你 的 决策 ， 但 并 不 是 令 你 的 决策 变 得 完美 。 文 本 数据 可 以 有 
效 地 提升 决策 效果 ， 它 能 提供 比 没有 它 时 更 好 的 结果 ， 即 使 数据 有 了 吗 音 
或 合 义 模糊 时 ， 这 一 扣 也 成 立 。 

使 用 文本 数据 

一 种 目前 很 流行 的 文本 分 析 应 用 是 所 谓 的 情感 分 析 。 人 情感 分 析 是 从 
大 量 人 和 群 中 挖掘 出 总 体 观 点 ， 并 提供 市 场 对 茶 个 公司 的 评论 、 看 法 和 感 
受 等 相关 信息 。 情 感 分 析 通 常 使 用 社会 化 媒体 网 站 的 数据 。 以 下 是 情感 
分 析 的 几 个 例子 。 

”公司 或 产品 的 口碑 怎么 样 ? 





四 ”大 家 正在 讨论 的 是 公司 的 哪些 活动 ? 

四 ”大 家 对 公司 、 产 品 和 服务 的 评价 是 好 是 坏 ? 

如 前 所 述 ， 文 本 分 析 的 难点 在 于 词汇 和 语 境 是 相关 的 。 我 们 要 考虑 
到 这 个 问题 ， 但 大 量 的 评价 会 让 客户 情感 的 倾 问 变 得 明确 。 如 果 我 们 可 
以 解读 出 人 们 在 社区 媒体 上 所 说 内 容 、 与 客服 互动 信息 的 趋势 ， 这 会 对 
规划 下 一 步 的 工作 有 很 大 的 价值 。 

如 条 公司 可 以 掌握 每 一 个 客 己 的 情感 信息 ， 就 能 了 解 客户 的 意图 和 
态度 。 与 使 用 网 络 数据 推 肝 客户 意图 的 方法 类 似 ， 了 解 客 户 对 茶 种 产品 
的 总 体 情 感 是 正面 情感 还 是 负面 情感 也 是 很 有 价值 的 信息 。 如 果 这 名 客 
户 此 时 还 没有 购买 该 产品 ， 那 价值 融 更 大 了 。 人 情感 分 析 提 供 的 信息 可 以 
证 我 们 知道 要 说 服 这 名 客户 购买 该 产品 的 难 易 程 度 。 

文本 数据 的 男 一 个 用 途 是 模式 识别 。 我 们 对 客户 的 投诉 、 维 修 记 录 
和 其 他 的 评价 进行 排序 ， 期 望 在 问题 变 大 之 前 ， 能 够 更 快 地 识别 和 修正 
问题 。 产 品 首 次 发 布 ， 然 后 开始 出 现 投 诉 ， 文 本 分 析 可 以 识别 出 客户 在 
哪些 方面 存在 问题 。 我 们 甚至 可 以 做 到 在 客服 电话 接二连三 打 进 来 之 
前 ， 先 把 问题 识别 出 来 。 这 样 我 们 残 能 更 快 地 、 更 积极 地 做 出 啊 应 。 公 
司 可 以 及 时 地 做 出 有 反应， 解决 产 品 未 来 发 行 版 本 中 同样 的 问题 ， 也 能 主 
动 与 客户 进行 接触 ， 绥 解 他 们 当下 过 到 困难 时 的 焦躁 情绪 。 

欺诈 检测 也 是 文本 数据 的 重要 应 用 之 一 。 在 健康 险 或 伤 残 保险 的 投 
诉 事件 中 ， 使 用 文本 分 析 技 术 可 以 解析 出 客户 的 评论 和 理由 。 文 本 分 析 
可 以 将 欺诈 模式 识别 出 来 ， 标 记 出 风险 的 蜗 低 。 面 对 高 风险 的 投诉 ， 需 
要 更 仔细 地 检查 。 故 一 方面 ， 投 诉 在 东 种 程度 上 还 能 自动 地 执行 。 如 果 
系统 发 现 了 投诉 模式 、 词 汇 和 短语 没有 问题 ， 就 可 以 认 宋 这 些 投诉 是 低 
风险 的 ， 并 可 以 加 速 处 理 ， 同 时 将 更 多 的 资源 投入 高 风险 的 投诉 中 。 

法 律 事务 也 会 从 文本 分 析 中 受益 。 按 照 惯例 ， 任 何 法 律 案件 在 上 诉 
前 都 会 索取 相应 的 电子 邮件 和 其 他 通信 历史 记录 。 这 些 通信 文本 会 被 批 
量 地 检查 ， 识 别 出 与 本 案 相 关 的 那些 语句 。 例 如 ， 哪 些 电子 邮件 中 有 隐 





























藏 的 内 幕 消 筷 ? 哪些 人 在 和 别人 交流 时 说 的 是 假 话 ? 威胁 背后 的 实质 是 
人 

在 法 律 案件 中 应 用 文本 分 析 的 做 法 称 为 电子 侦察 。 所 有 预先 进行 的 
分 析 将 帮助 起 诉 获得 成 功 。 不 使 用 文本 分 析 ， 仅 通过 人 工 的 方式 将 无 法 
浏览 所 有 的 所 需 文档 。 即 使 我 们 可 以 做 到 人 工 浏览 那些 文档 ， 但 因为 任 
务 本 吴 过 于 单调 枯燥 ， 我 们 很 可 能 会 漏 掉 其 中 的 一 些 关 键 信息 。 

文本 数据 可 能 会 对 所 有 的 行业 都 产生 影响 。 它 可 能 是 如 今 使 用 最 广 
泛 的 一 类 大 数据 。 对 企业 来 讲 ， 掌 握 如 何 收集 、 解 析 和 分 析 文 本 是 很 重 
要 的 。 文 本 是 我 们 必须 获 驶 的 一 种 大 数据 源 。 


3.3 多 个 行业 : 时 间 数 据 与 位 置 数据 的 价值 


随 着 全 球 定位 系统 (GPS) 、 个 人 GPS 设备 、 手 机 的 出 现 ， 时 间 和 位 
置 的 信息 一 直 在 增加 。 从 Foursquare 到 Google Places， 再 到 Facebook 
Places， 它 们 提供 了 大 量 的 服务 与 应 用 ， 可 以 记录 每 个 人 在 某 个 时 间 点 
的 位 置 。 手 机 应 用 程序 可 以 记录 我 们 的 位 置 和 移动 的 轨迹 。 即 使 手机 没 
有 正式 开局 GPS， 我 们 还 是 可 以 使 用 基站 信和 号 来 获得 相当 准确 的 位 置信 
自 


消费 者 应 用 程序 中 有 一 些 新 绪 的 使 用 这 些 信息 的 方法 ， 这 些 方法 可 
以 捕捉 到 消费 者 允许 其 捕获 的 信息 。 例 如 ， 有 一 些 应 用 使 我 们 可 以 追踪 
锻 烁 中 行进 的 路 线 ， 路 线 的 长 度 ， 以 及 走 完 该 路 线 押 需要 的 时 间 。 事 实 
上 ， 如 果 携 市 了 手机 ， 我 们 就 能 记录 去 过 的 每 一 个 地 方 。 我 们 还 可 以 选 
择 把 数据 公开 给 他 人 。 当 更 多 的 人 同 公 人 雁 公 开 了 自己 的 时 间 和 位 置 数 
据 ， 就 会 出 现 一 些 非常 有 趣 的 事情 。 

许多 公司 已 经 开始 意识 到 掌握 客户 的 时 间 与 位 置 数 据 的 威力 ， 它 们 
开始 尝试 从 客户 那里 收集 这 类 信息 。 当 然 ， 这 类 信息 必须 建立 在 筛选 的 
基础 上 ， 并 且 必 须 制 定 明确 的 隐私 政策 ， 并 严格 地 遭 守 这 些 政策 。 许 多 
































公司 推出 了 令 人 难以 抗拒 的 位 置 价值 服务 ， 吸 引用 户 把 时 间 和 位 置信 息 
开放 给 它们 。 

我 们 并 非 只 想 了 解 消费 者 的 时 间 和 位 置信 息 。 卡 车 车 队 的 领导 也 想 
掌握 每 辆 卡车 在 某 个 时 间 点 的 位 置 ， 比 萨 店 肯定 想 知道 每 名 外 送 人 员 某 
个 时 间 在 什么 地 方 ， 养 宠物 的 人 肯定 想 知道 宠物 在 外 面 的 什么 地 方 ， 大 
型 误会 中 组 织 人 员 需 要 知道 侍者 四 处 走动 的 效率 和 啊 应 顾客 的 速度 。 

从 收集 个 人 、 资 产 的 时 间 和 位 置 数 据 开始 ， 企 业 可 以 快速 地 进入 大 
数据 领域 。 如 果 这 些 信息 能 够 频繁 地 更 新 就 更 好 了 。 知 道 每 辆 卡车 每 天 
早晚 的 位 置 是 一 回 事 儿 ， 知 道 每 辆 卡车 每 秒 钟 在 哪儿 就 是 为 外 一 回 事 儿 
了 。 时 间 和 位 置 数据 被 采 用 、 应 用 的 程度 将 越 来 越 蜗 ， 其 造成 的 影响 也 
将 越 来 越 大 。 

使 用 时 间 和 位 置 数据 

时 间 和 位 置 数据 是 对 隐私 最 敏感 的 一 类 大 数据 。 我 们 面 对 的 不 仅 有 
障 私 问题 ， 还 有 道德 和 伦理 问题 。 我 们 是 人 否 要 在 孩子 们 的 胜 膊 上 安装 必 
请， 以 便当 他 们 迷路 时 可 以 妃 踪 到 他 们 ? 老年 痴 下 患者 离 家 出 走 或 者 擅 
目 离 开 护理 机 构 时 我 们 应 该 怎么 做 ? 当然 ， 时 间 和 位 置 数 据说 滥用 的 可 
能 性 会 相当 高 。 但 从 好 的 方面 想 ， 它 们 被 合理 使 用 的 可 能 性 同样 也 会 很 
高 。 下 面 我 们 来 看 一 些 例子 。 

可 能 很 快 人 们 残 会 在 警察 局 和 消防 部 门 注册 ， 并 提供 自己 日 常会 去 
哪些 地 方 的 信息 。 这 样 ， 如 果 遇 到 潜水、 火灾 或 封 路 这 类 大 事件 ， 人 们 
会 收 到 警察 局 和 消防 部 门 发 送 的 警告 信息 ， 告 诉 他 们 即将 路 过 的 地 方 有 
情况 ， 提 醒 他 们 绕道 。 如 条 人 们 可 以 主动 避 开 是 非 之 地 ， 就 能 使 交通 中 
吓 的 时 间 降 到 最 低 ， 这 样 每 个 人 的 时 间 都 能 市 省 下 来 。 最 后 ， 在 得 到 你 
的 许可 后 ， 当 地 政府 甚至 可 以 接收 你 的 实时 位 置信 息 。 

一 种 初 露 并 倪 的 数据 使 用 方法 是 开发 对 时 间 和 位 置信 息 敏感 的 消 筷 
通知 ， 这 个 市 场 的 未 来 空间 很 大 。 通 知 不 再 局 限于 当天 或 本 周 ， 而 是 根 


















































据 客 户 的 时 间 和 位 置信 息 提供 最 适合 的 消息 通知 。 现 在 的 做 法 一 般 是 由 
客户 签到 并 告知 他 们 的 位 置 ， 这 样 他 们 就 能 接收 到 通知 信息 了 。 公 司 能 
够 持续 地 跟踪 到 客户 的 动向 ， 以 做 出 相应 的 反应 。 

例如 ， 可 能 用 户 会 告诉 你 ， 他 要 在 5:30 分 离开 办 公 室 回 家 ， 大 约 5:45 
到 6:00 之 间 会 开车 通过 5 号 出 口 。 他 要 找 地 方 吃 饭 ， 并 且 想 了 解 你 的 商 
店 或 餐馆 那个 时 间 有 什么 食物 。 你 需要 在 那个 时 间 那 个 地 点 提供 匹配 他 
的 需求 的 可 口 饭 菜 。 第 二 天 早上 才 通 过 电子 邮件 告诉 他 相关 的 信息 显然 
已 经 太 迟 了 ， 我 们 要 的 是 当 他 通过 那个 地 方 的 那 一 刻 就 主动 推送 给 他 通 
知 信息 。 











按照 地 点 和 时 间 主 动 推送 通知 信息 

营销 领域 渐渐 显露 出 来 的 一 个 趋势 是 ， 只 对 刚好 处 在 某 个 时 间 段 和 某 个 地 点 的 客户 才 针 对 性 
地 推送 通知 信息 。 与 根据 大 范围 的 时 间 和 地 点 发 送 的 通知 相 比 ， 这 种 通知 的 效果 更 好 ， 针 对 性 
更 强 。 早 期 采用 这 种 作法 的 企业 已 经 取得 了 令 人 吃惊 的 效果 。 






























































当然 管理 这 种 通知 的 复杂 性 要 局 不 少 ， 因 为 我 们 要 做 的 不 只 是 跟 踩 
每 个 人 当 周 的 服务 推荐 这 么 简单 。 我 们 需要 关心 的 是 每 个 用 户 每 时 每 刻 
在 什么 地 方 ， 我 们 在 这 个 时 间 点 为 他 们 推荐 什么 东西 最 合适 。 根 据 时 间 
和 位 置 推送 通知 确实 大 大 地 增加 了 复杂 性 ， 并 且 变 得 难以 管理 。 但 我 们 
相信 假 以 时 日 ， 如 宋 我 们 做 得 不 错 ， 这 种 方式 的 转化 率 应 该 会 远 远 超 过 
传统 的 个 性 化 推荐 。 历 史 经 验 反 复 地 告诉 我 们 ， 如 果 通 知 信息 越 精准 ， 
转化 率 束 会 越 融 。 

使 用 此 类 数据 的 男 一 种 模式 是 增强 型 社交 网 络 分 析 。 无 线 运 营 公司 
可 以 根据 语音 和 文本 交流 信息 识别 出 用 户 间 的 关系 ， 借 助 时 间 和 位 置 数 
据 可 以 识别 出 哪些 人 在 同一 时 间 出 现在 了 同一 个 地 方 。 例 如 ， 哪 些 人 在 
听 音 乐 会 或 看 电影 ”哪些 人 要 去 观看 东 一 场 体育 比赛 ? 哪些 人 在 同一 时 
间 同 一 餐馆 束 餐 ? 














如 果 能 识别 出 哪些 人 大 约 在 同一 时 间 同 一 地 点 出 现 ， 就 能 识别 出 有 
哪些 彼此 不 认识 或 者 在 同一 个 社交 辫子 里 的 人 ， 但 是 他 们 都 有 者 很 多 共 
同 的 爱好 。 想 象 一 下 ， 如 果 婚 介 服 务 能 用 这 样 的 信息 帮助 我 们 找到 上 自己 
的 男 一 半 那 该 有 多 好 ! 我 们 可 以 或 励 人 们 建立 联系 ， 给 他 们 提供 符合 个 
人 身份 或 团体 里 份 的 产品 推荐 。 

时 间 和 位 置 数 据 不 仅 可 以 帮助 我 们 理解 客户 的 历史 模式 ， 还 可 以 准 
确 地 预测 客户 未 来 会 出 现在 什么 地 方 。 对 于 有 固定 习惯 的 客户 尤其 如 
此 。 如 果 我 们 知道 某 个 人 会 在 哪里 出 现 ， 要 往 哪里 去 ， 我 们 就 能 预测 出 
他 们 10 分 钟 或 一 个 小 时 以 后 会 出 现在 哪里 。 如 果 我 们 知道 客户 以 前 在 同 
一 条 路 上 去 过 哪里 ， 我 们 就 能 更 准确 地 做 出 他 现在 要 去 往 何 处 的 预测 。 
我 们 最 差 也 能 大 大 地 减少 列表 上 的 候选 路 线 ， 这 样 就 能 支持 更 精准 的 营 
销 。 

未 来 儿 年 间 ， 时 间 和 位 置 数 据 的 应 用 会 经 历 爆 炸 性 的 增长 ， 面 向 消 
费 者 的 选择 流程 和 激励 措施 终 将 成 熟 。 现 在 我 们 要 小 心 行 事 ， 并 在 我 们 
使 用 这 些 信息 之 前 ， 获 得 用 户 的 许可 。 使 用 时 间 和 位 置 数据 的 消 恩 通知 
将 会 更 有 针对 性 、 更 个 性 化 。 在 不 远 的 将 来 ， 如 果 通 知 信息 不 是 根据 时 
间 和 位 置 推送 的 ， 也 许 会 被 认为 很 士 。 


3.4 零售 制造 业 : REFID 数 据 的 价值 


无 线 射频 标签 ， 即 RFID 标 签 ， 是 安装 在 装运 托盘 或 产品 外 包装 上 的 
一 种 微型 标签 。REFID 标 签 上 有 一 个 唯一 的 序列 号 ， 这 个 序列 号 与 UPC 
类 似 的 通用 产品 标识 码 不 同 。 换 言 之 ，REFID 标 签 不 仅 能 够 识别 出 托盘 
上 装 的 是 Model 123 电 脑 ， 还 能 识别 出 托盘 上 装运 的 是 独一无二 的 、 特 
定 的 一 套 Model 123 电 脑 。 

RFID 读 卡 器 发 出 信号 ，RFID 标 签 返 回 啊 应 信息 。 如 果 多 个 标签 都 在 
读 卡 器 读 取 范 围 内 ， 它 们 同样 会 对 同一 查询 做 出 响应 ， 这 样 辨识 大 量 物 











品 就 会 变 得 比较 容易 。 即 使 当 这 些 东西 堆 伏 在 一 起 或 者 放 到 了 墙 后 面 ， 
只 要 信号 可 以 穿 透 ， 我 们 就 能 得 到 响应 信息 。 有 了 RFID 标 签 ， 我 们 就 
不 再 需要 人 工 记录 和 盘点 每 个 商品 ， 这 样 清点 商品 的 时 间 就 会 缩短 。 

多 数 用 于 高 价值 应 用 外 的 REID 标 签 都 是 被 动 式 的 无 源 标签 ， 意 味 着 
这 些 标签 是 没有 内 置 电池 的 。 读 卡 器 的 无 线 电波 产生 磁场 ， 该 磁场 给 标 
签 提供 了 足够 的 能 量 ， 使 得 标签 可 以 将 内 置信 息 发 送出 去 。RFID 技 术 
已 经 出 现 很 长 时 间 了 ， 但 成 本 问题 限制 了 该 应 用 的 进一步 推广 。 今 天 ， 
无 源 标签 的 成 本 只 有 几 美 分 ， 而 且 价 格 还 在 不 断 下 跌 。 随 着 阶 格 的 不 断 
下 跌 ， 实 际 应 用 情况 将 会 出 现 持续 增长 。 现 在 的 RFID 技 术 还 有 一 些 问 
题 ， 例 如 ， 液 体会 屏蔽 标签 的 信号 。 随 着 时 间 的 推移 ， 这 些 技术 问题 都 
将 会 得 到 有 效 的 解决 。 

有 些 RFID 应 用 很 多 人 都 曾经 接触 过 ， 其 中 之 一 就 是 自动 收费 标签 。 
有 了 它 ， 司 机 通过 高 速 公路 收费 站 的 时 候 就 不 需要 再 停车 了 。 它 的 工作 
原理 是 ， 交 通 管理 局 在 所 发 的 卡 中 植 入 了 RFID 标 签 ， 同 时 高 速 公 路 上 
安装 了 读 卡 器 ， 当 汽车 开 过 时 ， 标 签 会 把 汽车 数据 传 到 读 卡 器 ， 这 样 我 
们 开车 通过 收费 站 就 被 记录 下 来 了 。 

RFID 数 据 的 另 一 个 重要 应 用 是 资产 跟踪 。 例 如 ， 一 家 公司 想 把 其 拥 
有 的 每 一 个 PC、 桌 椅 、 电 视 等 资产 都 贴 上 标签 。 这 些 标签 可 以 很 好 地 
帮助 我 们 进行 库存 跟踪 。 跟 踪 这 些 物品 。 如 果 物 品 移出 指定 区 域 ， 它 们 
就 会 发 送 警告 信息 。 例 如 ， 我 们 可 以 把 读 卡 器 放 在 出 口 处 ， 如 果 公 司 次 
产 在 没有 被 事先 批准 的 情况 下 出 门 ， 警 报 很 快 就 会 响起 来 ， 这 样 就 能 起 
到 安全 警示 的 作用 了 。 这 种 作法 类 似 于 零售 商店 里 的 物品 标签 ， 如 果 标 
签 变 为 无 效 ， 警 报 就 会 被 拉 响 。 

RFID 最 大 的 应 用 之 一 是 制造 业 的 托盘 跟踪 和 零售 业 的 物品 跟踪 。 例 
如 ， 制 造 商 发 往 零售 商 的 每 一 个 托盘 上 都 有 标签 ， 这 样 可 以 很 方便 地 记 
录 哪 些 货物 在 某 个 配送 中 心 或 者 商店 。 最 终 ， 商 店 中 价格 很 低 的 商品 也 
可 以 配备 RFID 芯 片 ， 或 者 使 用 一 种 类 似 的 新 技术 。 现 在 我 们 已 经 明白 





























了 REFID 数 据 是 什么 ， 下 面 我 们 来 看 一 看 RFID 数 据 可 以 从 哪些 方面 来 改 
善 当前 的 商业 模式 。 

使 用 无 线 射频 标 俭 数据 

REFID 的 一 种 增值 应 用 是 识别 零售 商 货 架 上 有 没有 相应 的 商品 。 如 果 
读 卡 器 能 够 连续 不 断 地 确定 货架 上 每 种 商品 的 存量 ， 当 需要 重新 配 货 的 
时 候 ， 我 们 就 能 得 到 准确 的 信息 。 使 用 RFID 可 以 更 好 地 跟踪 货架 的 供 
应 状况 ， 因 为 商品 脱销 和 有 商品 可 供应 的 状态 是 完全 不 同 的 。 一 种 可 能 
的 情况 是 ， 商 店 货架 上 没有 该 商品 了 ， 但 后 面 储藏 室 里 还 有 5 件 该 商 
品 。 

在 这 种 情况 下 ， 任 何 传统 的 商品 脱销 分 析 都 会 显示 货架 上 现在 仍 有 
存货 ， 因 此 不 需要 担心 。 当 销售 业绩 开始 下 滑 时 ， 人 们 才 会 发 现 问题 所 
在 。 如 果 有 REFID 标 签 ， 就 可 以 跟踪 到 储藏 室 中 还 有 5 件 该 商品 ， 但 货架 
上 却 没有 该 商品 了 。 这 样 ， 我 们 只 需要 简单 地 从 储藏 室 把 商品 搬 到 货架 
上 就 能 解决 问题 。 这 个 例子 在 成 本 和 技术 上 有 一 些 挑 战 ， 但 现在 大 家 正 
在 努力 克服 这 些 困难 。 

REFID 还 能 很 好 地 帮助 我 们 跟踪 促销 展示 影响 的 效果 。 通 常 在 促销 过 
程 中 ， 商 品 要 摆 在 商店 的 许多 地 点 进行 展示 。 从 传统 的 POS 数 据 中 ， 我 
们 可 以 知道 促销 商品 的 销量 ， 但 我 们 不 知道 销售 来 自 于 哪个 展示 点 。 通 
过 REFID 标 签 我 们 可 以 识别 出 商品 是 从 哪个 展示 点 销售 出 去 的 ， 这 样 我 
们 就 能 评估 不 同 的 地 点 对 销售 效果 的 影响 。 

REFID 如 果 和 其 他 数据 结合 起 来 ， 就 能 发 挥 更 大 的 威力 。 如 果 公 司 可 
以 收集 配送 中 心里 的 温度 数据 ， 当 出 现 掉 电 或 者 其 他 极端 事件 时 ， 我 们 
就 能 跟踪 到 商品 的 损坏 程度 。 也 许 仓 库 某 一 区 域 在 停电 期 间 的 温度 高 达 
90 摄 氏 度 ， 且 时 间 长 达 90 分 钟 。 有 了 REFID， 我 们 惑 能 准确 地 知道 在 那 
个 时 刻 哪些 托盘 位 于 配送 中 心 的 那个 区 域内 ， 然 后 我 们 就 能 采取 相应 的 
行动 。 仓 库 数据 还 可 以 和 装运 数据 匹配 起 来 ， 如 果 商 品 发 生 了 损坏 ， 公 















































司 可 以 有 针对 性 地 召回 商品 ， 并 通知 零售 商 当 商品 抵达 时 再 次 对 商品 i 
行 开 条 检查。 








组 合 显 神通 
就 像 许多 其 他 大 数据 源 一 样 ，RFID 数 据 本 身 并 不 能 发 挥 所 有 的 威力 。 当 与 其 他 数据 组 合 起 
来 使 用 时 ， 它 们 就 能 发 挥 作用 。 大 数据 战略 的 目标 是 把 大 数据 和 其 他 数据 整合 到 同一 个 处 理 流 
程 中 ， 这 一 点 再 怎么 强调 也 不 为 过 。 使 用 大 数据 并 不 是 一 个 孤立 的 工作 。 


































































































REFID 还 有 一 些 操 作 型 应 用 。 有 些 配送 中 心 商 品 管理 不 严格 ， 导 致 商 
品 损坏 程度 很 高 。 对 于 某 些 团队 ， 甚 至 某 些 工人 来 说 确实 如 此 。 人 力 资 
源 CHR) 系统 会 报告 谁 在 任意 时 间 点 上 工作 。 当 REFID 数 据 和 这 类 数据 
组 合 起 来 ， 就 能 显示 出 商品 何 时 被 移动 了 ， 还 能 识别 出 损坏 、 损 耗 、 偷 
窃 商 品 概率 更 高 的 员工 。 数 据 的 组 合 使 用 ， 使 我 们 能 够 采取 更 强大 、 质 
量 更 高 的 行动 。 

RFID 有 一 种 非常 有 趣 的 未 来 应 用 是 跟踪 商店 购物 活动 ， 束 像 跟 踩 
Web 购 物 行 为 一 样 。 如 果 RFID 读 卡 器 植 入 购物 车 中 ， 我 们 就 能 准确 地 知 
道 哪 些 客户 把 什么 东西 放 进 了 购物 车 ， 也 能 准确 地 知道 他 们 的 放 入 顺 
序 。 即 使 并 非 每 种 物品 都 配 有 标签 ， 我 们 仍然 可 以 识别 出 购物 车 经 过 的 
道路 。 通 过 在 店面 中 使 用 RFID， 第 2 章 讨论 的 Web 数 据 所 能 带 来 的 诸多 
好 处 都 将 变 成 现实 。 最 后 两 个 例子 必须 考虑 隐私 问题 ， 因 为 也 许 顾客 根 
本 不 想 让 他 们 的 购物 行为 被 跟踪 。 我 们 可 以 采用 “匿名 ”购物 的 方法 ， 不 
对 产生 数据 的 人 进行 方位 识别 。 

RFID 的 最 后 一 种 应 用 是 识别 欺诈 犯罪 活动 ， 归 还 偷盗 物品 。 如 果 物 
品 由 有 REFID 标 签 ， 零 售 商 可 以 通过 标签 的 ID 进行 识别 ， 确 定 返 还 物品 
是 否 属于 偷 走 的 同一 批 产 品 ， 并 采取 适当 的 行动 。 事 实 上 ， 关 键 在 于 
RFID 的 ID 可 以 作为 收据 的 一 部 分 ， 辅 助 返还 流程 。 零 售 商 知道 购买 商 
品 上 贴 的 是 哪个 RFID 标 签 ， 而 不 是 像 平 常 那样 只 知道 你 购买 了 某 种 商 
































品 。 当 我 们 来 到 退货 台 ， 要 把 贴 有 那个 标签 的 商品 退还 。 我 们 肯定 不 能 
从 货架 上 和 拿 下 来 男 外 一 个 一 模 一 样 的 商品 ， 假 装 跟 收 据 一 起 返还 。 以 这 
种 方式 来 使 用 RFID， 坎 诈 将 会 变 得 无 比 困 难 。 

未 来 儿 年 REID 有 可 能 会 对 制造 业 和 零售 业 产 生 巨 大 的 影响 。 与 许多 
人 的 期 望 不 同 ，REFID 的 接受 速度 要 慢 一 些 。 但 RFID 标 俭 价格 在 持续 下 
跌 ， 标 签 和 读 卡 器 的 质量 却 在 不 断 上 升 ， 从 经 谤 的 角度 考虑 ，REFID 的 
应 用 将 会 更 加 广泛 。 


3.5 ”电力 行业 : 鲁能 电网 数据 的 价值 


智能 电网 是 下 一 代 电 力 基 础 设施 。 与 我 们 周围 经 常见 到 的 高 压 电 传 
输 相 比 ， 智 能 电网 更 先进 更 可 牧 。 重 能 电网 有 非常 复杂 的 监控 、 通 信和 
发 电 系统 ， 可 以 提供 稳定 如 一 的 服务 ， 如 果 出 现 俘 电 和 其 他 问题 ， 可 以 
更 好 更 快 地 恢复 。 各 类 传感器 和 监控 设备 记录 了 电网 本 身 和 流 经 电流 的 
许多 信息 。 

智能 电网 中 的 一 个 环节 是 我 们 经 党 所 到 的 智能 电表 。 智 能 电表 是 一 
种 传统 电表 的 葵 代 品 。 从 外 观 上 看 ， 答 能 电表 和 我 们 一 直 使 用 的 电表 没 
有 什么 不 同 ， 但 智能 电表 的 功能 更 强大 。 以 前 抄 表 人 员 都 是 每 隔 几 周 或 
几 个 月 就 换 家 挨户 地 抄 电 表 ， 而 智能 电表 可 以 每 隔 15 分 钟 到 一 个 小 时 从 
每 一 个 家 寿 或 企业 目 动 地 收集 数据 ， 甚 全 可 以 跨 区 或 者 路 电网 收集 数 
据 。 

虽然 我 们 这 里 关注 的 是 智能 电表 ， 但 在 智能 电网 中 大 量 使 用 的 传 感 
虱 也 值得 一 提 。 这 些 通 布 智能 电网 但 我 们 却 看 不 到 的 传 感 副 ， 它 们 收集 
到 的 数据 从 规模 上 使 智能 电表 数据 相形 见 纳 。 传 感 占 每 秒 钟 要 从 发 电 系 
统 读 取 60 次 同步 相 量 测量 值 ， 与 记录 家 用 电器 开关 状态 的 家 性 网 络 一 
样 ， 它 们 都 是 大 数据 的 例子 。 普 通 人 并 不 知道 这 些 传感器 的 存在 ， 但 它 
们 对 电网 来 说 十 分 重要 。 传 感 占 要 读 取 所 有 的 电流 数据 和 智能 电网 的 设 

















备 状 态 ， 数 据 量 非常 非常 大 。 

智能 电网 技术 已 经 在 欧洲 和 美洲 的 某 些 地 方 开始 使 用 了 。 我 们 相信 
在 不 久 的 将 来 ， 世 界 上 每 一 处 电网 都 会 被 智能 电网 取代 。 电 力 公 司 因为 
使 用 了 镶 能 电网 ， 它 们 所 和 掌握 的 耗 电 数据 量 会 以 指数 级 增长 。 这 类 数据 
要 怎样 使 用 ? 下 面 我 们 来 看 一 下 。 

使 用 智能 电网 数据 

从 用 电 管 理 的 角度 来 看 ， 智 能 电表 数据 可 以 帮助 人 们 更 好 地 理解 电 
网 中 客户 的 需求 层次 。 此 外 ， 这 些 数 据 也 可 以 使 消费 者 受益 。 例 如 业主 
可 以 选择 把 竺 测试 的 电器 打开 ， 与 此 同时 保持 其 他 电器 的 稳定 ， 这 时 从 
智能 电表 处 可 以 监控 到 详细 的 电力 消耗 情况 ， 这 样 我 们 就 可 以 明确 地 测 
量 出 各 种 电器 究竟 消耗 了 多 少 电 量 。 

世界 各 国 的 电力 公司 现在 都 已 经 在 积极 地 转 问 这 样 的 定价 模型 ， 即 
按时 间或 需求 量 的 变化 来 定价 ， 智 能 电网 的 出 现 加 速 了 这 种 趋势 。 电 力 
公司 的 主要 目标 之 一 是 利用 新 的 定价 程序 来 影响 客户 行为 ， 减 少 高 峰 时 
段 的 用 电量 。 为 了 应 对 用 电 高 峰 需 要 另 建 用 电站 ， 需 要 一 大 笔 钱 而 且 还 
会 对 环境 造成 很 大 的 影响 。 如 果 用 电 成 本 可 以 灵活 地 根据 时 间 来 设 定 ， 
并 由 智能 电表 来 测量 ， 我 们 就 可 以 促使 客户 改变 他 们 的 用 电 行 为 。 较 低 
的 峰值 和 较为 平稳 的 用 电 需 求 等 同 于 更 少 的 对 新 基础 设施 的 需求 和 更 低 
的 成 本 。 

当然 电力 公司 通过 智能 电表 提供 的 数据 还 能 识别 出 其 他 的 各 类 趋 
势 。 哪 些 地 方 的 用 电量 有 所 回落 ?哪些 消费 者 每 天 或 每 周 的 用 电 需 求 比 
较 相同 ? 电力 公司 可 以 根据 使 用 模式 对 客户 进行 分 类 ， 可 以 选择 针对 东 
些 特定 的 群体 开发 产品 和 活动 。 使 用 这 些 数据 我 们 还 可 以 识别 模式 出 现 
异常 的 那些 地 方 ， 它 们 揭示 了 需要 解决 的 问题 。 

实际 上 ， 电 力 公 司 有 能 力 执行 其 他 行业 已 经 使 用 多 年 的 客户 分 析 工 
作 。 例 如 ， 电 话 公 司 知道 我 们 月 后 的 所 有 账单 ， 但 并 不 知道 我 们 具体 的 




















通话 。 零 售 商店 只 知道 整体 销售 状况 ， 而 不 知道 任何 购买 的 细 市 信息 。 
一 家 金融 机 构 知 道 我 们 的 月 终 余 额 ， 但 并 不 了 解 我 们 这 个 月 的 资金 流动 
状况 。 从 很 多 方面 讲 ， 电 力 公司 面 对 的 这 类 数据 对 于 理解 客户 而 言 仍 略 
显 不 足 。 它 们 也 有 简单 的 月 终 汇 总 数据 ， 但 这 种 月 结 数据 往往 是 估计 值 
而 不 是 实际 的 耗 电量 。 


大 数据 可 以 改变 一 个 行业 
有 时 候 ， 大 数据 真 的 可 以 改变 一 个 行业 ， 可 以 把 分 析 应 用 提升 到 一 个 全 新 的 高 度 。 电 力行 业 
使 用 的 智能 电网 数据 就 是 一 个 这 样 的 例子 。 不 再 受 每 月 一 次 抄 表 的 限制 ， 耗 电信 息 会 以 秒 钟 或 
分 钟 为 间隔 被 测量 。 通 布 电 网 的 精巧 传感器 ， 使 数据 的 使 用 变 得 与 以 往 完全 不 同 。 以 此 开展 的 
数据 分 析 会 在 费 率 套餐 、 用 电 管 理 等 诸多 方面 产生 很 多 创新 。 











































































































有 了 智能 电表 数据 ， 我 们 就 可 以 进行 全 新 的 分 析 ， 使 大 众 全 部 受 
葵 。 消 费 者 可 以 根据 目 己 的 使 用 模式 定制 费 率 套餐 ， 束 像 车 载 信息 服务 
文 持 个 性 化 的 汽车 保险 费 率 那 样 。 高 峰 时 段 用 电 客户 比 非 高 峰 时 段 用 电 
客户 的 收费 要 高 。 面 对 这 样 的 刺激 政策 ， 我 们 会 改变 自己 的 用 电 模 式 ， 
可 能 我 们 会 在 下 午 晚 些 时 候 再 使 用 洗 碗 机 而 不 是 吃 完 午 饭 就 马上 使 用 。 

电力 公司 也 会 有 更 准确 的 需求 预测 ， 它 们 能 更 清晰 地 识别 出 需求 来 
目 于 哪些 地 方 。 它 们 还 能 了 解 菜 一 类 客户 在 东 个 时 间 的 用 电 需 求 。 电 力 
公司 可 以 使 用 不 同 的 方法 来 驱动 各 种 行为 ， 使 需求 更 加 平稳 ， 并 降低 姑 
常 需 求 峰 值 出 现 的 频率 。 所 有 这 些 都 会 使 对 昂 贯 的 新 发 电 设备 的 需求 受 
到 抑制 。 

每 一 个 家 庭 、 每 一 个 行业 都 能 感受 到 智能 电表 数据 产生 的 威力 ， 这 
些 数据 能 够 让 我 们 更 好 地 跟踪 、 更 积极 地 管理 用 电 情 况 。 我 们 不 仅 能 区 
约 用 电 ， 也 能 使 这 个 世界 更 加 低 碳 ， 还 可 以 帮助 大 家 省 钱 。 如 采 我 们 能 
清楚 地 知道 自己 的 耗 电 量 比 预 期 要 多 ， 我 们 肯定 就 会 根据 需要 做 出 适当 
的 调整 。 如 果 只 使 用 每 月 账单 ， 我 们 将 无 法 识别 出 这 种 机 会 。 但 是 ， 知 














能 电表 数据 将 使 这 一 切 变 得 简单 。 
3.6 ”博彩 业 : 筹码 跟踪 数据 的 价值 


前 面 我 们 已 经 讨论 了 RFID 技 术 是 如 何 应 用 在 零售 业 和 制造 业 的 。 
RFID 技 术 的 用 途 实 际 上 更 广泛 ， 许 多 应 用 都 会 产生 大 数据 。RFID 标 签 
的 另外 一 种 应 用 是 贴 在 赌场 用 的 筹码 上 面 。 每 一 个 筹码 ， 特 别 是 高 价值 
的 筹码 都 有 自己 的 内 置 标签 ， 这 样 财 场 就 可 以 通过 标签 的 串 行 编号 实现 
唯一 的 识别 。 

赌场 里 用 的 老虎 机 已 经 被 跟踪 了 许多 年 。 一 旦 我 们 在 老虎 机 上 刷 了 
经 常 使 用 的 玩家 卡 或 者 信用 卡 ， 那 我 们 每 次 搬 动 手柄 按 下 按键 的 动作 就 
会 被 跟踪 。 当 然 你 的 赌注 和 你 赢 的 钱 也 会 被 跟踪 。 虽 然 老 虎 机 模式 的 分 
析 历 史 和 悠久 ， 但 赌场 仍然 没有 从 更 面 游 戏 中 捕捉 到 足够 多 的 细节 。 现 在 
这 个 过 程 正在 发 生变 化 ， 标 签 已 经 开始 被 植 入 游戏 筹码 。 

以 前 赌场 会 用 功能 强大 的 安全 摄像 头 网 络 跟踪 筹码 ， 地 勤 人 员 的 工 
作 是 保证 筹码 上 下 左右 的 移动 是 合理 的 。 赌 台 经 理 要 寻找 常客 ， 估 算 他 
们 的 平均 投注 和 玩 的 时 间 ， 并 给 这 种 常客 奖励 。 虽 然 赌 台 经 理 精 于 此 
道 ， 同 时 还 能 获得 其 他 人 员 的 帮助 ， 但 游戏 奖励 多 多 少 少 总 会 不 够 准 
确 。 如 果 被 监视 的 玩家 位 巧 比 平常 投注 多 那么 一 点 或 少 那 么 一 点 ， 就 会 
发 生 这 种 不 准确 的 情况 。 有 些 玩家 如 果 认 为 他 们 自己 正在 被 监视 ， 他 们 
会 利用 系统 规则 增加 投注 来 牟利 。 


同类 技术 可 以 驱动 多 种 大 数据 沈 

零售 商 和 制造 商都 使 用 了 RFID 技 术 。 博 彩 行业 也 是 如 此 。 它 们 使 用 RFID 的 方法 有 将 多 不 同 
之 处 ， 但 也 有 许多 相似 之 处 。 最 有 趣 的 是 ， 一 种 技术 可 以 在 不 同 的 行业 使 用 ， 形 成 各 个 行业 独 
特 的 大 数据 源 。 















































筹码 跟 踩 是 一 种 特殊 的 RFID 应 用 ， 除 了 这 个 例子 外 ，RFID 还 有 很 多 
其 他 的 应 用 。 这 个 例子 说 明了 一 些 底层 相同 的 技术 可 以 文 持 不 同 的 大 数 
据 流 ， 这 些 大 数据 流 本 质 相 同 ， 但 范围 和 应 用 却 完 全 不 同 。 让 我 们 兴 
的 是 ， 这 种 基础 撤 术 有 着 完 全 不 同 的 用 处 ， 产 生 了 多 种 行业 里 形式 各 腊 
的 大 数据 。 


使 用 筹码 跟踪 数据 

使 用 筹码 标签 的 一 个 明显 优点 是 可 以 准确 地 跟踪 每 位 玩家 下 的 赌注 。 标 签 可 以 保证 玩家 在 经 
常 性 的 玩家 活动 中 赚 到 所 有 的 积分 ， 不 会 多 也 不 会 少 。 这 就 给 玩家 和 赌场 同时 带 来 了 好 处 。 对 
于 赌场 而 言 ， 资 源 可 以 更 准确 地 配置 给 正确 的 玩家 ， 过 上 度 奖 励 错误 的 玩家 和 过 少 奖励 正确 的 玩 
家 都 会 导 臻 有 限 营 销 资源 的 非 最 优 分 配 ， 而 玩家 当然 希望 他 们 的 积分 永远 准确 无 误 。 

































































有 了 玩家 的 赌注 数据 ， 赌 场 就 可 以 更 好 地 对 玩家 进行 分 类 ， 以 理解 
投注 模式 。 谁 会 每 次 先 下 注 5 美 元 ， 但 几乎 每 阳 一 段 时 间 束 把 投注 升 到 
100 美 元 呢 ? 谁 会 每 次 下 注 10 美 元 ?可 以 根据 这 些 模 式 对 玩家 进行 分 
类 。 投 注 模式 还 能 揭示 21 点 博彩 游戏 中 谁 在 算 牌 ， 因 为 如 果 玩 家 使 用 算 
牌 扩 巧 的 话 ， 茶 种 赌注 模式 就 会 凸显 出 来 。 

财 场 使 用 筹码 跟踪 技术 ， 玩 家 想 要 主动 欺骗 赌场 将 会 变 得 更 困难 ， 
甚至 连 庄 家 想 犯 错 都 比较 困难 。 因 为 筹码 的 投注 和 分 红 都 可 以 极 跟 踩 
到 ， 我 们 可 以 很 容易 地 回 过 头 来 对 比 视频 ， 检 查 21 点 菜 一 次 出 牌 或 者 分 
红 的 结果 。 即 使 拘 膊 和 头 挡 住 了 我 们 的 视线 ， 看 不 清楚 拿 起 来 或 者 放下 
去 的 筹码 ， 但 REFID 数 据 依 然 可 以 提供 细节 人 信息。 赌场 可 以 识别 发 生 的 
错误 或 者 欺诈 。 辟 如 说 当 庄 家 往 男 一 个 方 加 看 的 时 候 ， 玩 家 放下 了 一 笔 
筹码 。 

时 段 分 析 可 以 识别 出 庄家 或 玩家 犯 下 寞 沼 错 误 的 数目 。 它 可 以 帮助 
我 们 处 理 坎 诈 活 动 ， 或 者 对 犯 下 大 量 简单 错误 的 庄家 进行 额外 培训 。 筹 
码 计算 错误 也 会 因 之 而 下 降 ， 统 计 大 量 各 种 面额 的 筹码 是 非常 单调 的 工 



































作 ， 人 们 往往 会 在 这 个 过 程 中 犯错 ，RFID 文 持 更 快 更 准确 的 计算 。 

将 前 面 这 个 例子 讲 得 更 深入 一 点 儿 ， 对 小 偷 来 说 ， 跟 踊 每 个 筹码 的 
举措 上 共有 相当 强 的 威慑 作用 。 如 采 一 操 筹 码 被 偷 走 了 ， 那 些 筹码 的 标识 
就 会 被 标记 成 “已 被 伦 ”。 如 果 有 人 进来 兑换 这 些 筹码 ， 甚 至 拿 着 这 些 筹 
码 坐 到 果子 劳 边 ， 系 统 吏 会 注意 到 ， 并 拉 啊 安全 和 警报。 如 果 小 偷偷 走 或 
者 更 换 了 这 些 宕 码 ， 那 标签 就 不 能 修 读 取 。 赌 场 清楚 筹码 的 ID， 它 们 硕 
望 所 有 的 筹码 都 报告 一 个 合法 的 ID。 如 果 某 个 筹码 没有 报告 ID， 或 者 报 
告 的 ID 不 合法 ， 那 它们 就 会 采取 措施 。 

就 像 其 他 行业 一 样 ， 赌 场 对 其 诈 行为 阻止 得 越 多 ， 分 红 就 会 越 合 
理 ， 风 险 也 就 会 越 低 。 因 为 费用 文 出 比较 少 ， 这 样 我 们 就 有 能 力 给 玩家 
提供 更 好 的 服务 和 投注 赔 率 。 对 于 赌场 和 玩家 而 言 ， 这 是 双 电 。 


3.7 工业 及 动机 和 设备 : 传 感 右 数据 的 价值 


世界 各 地 安装 了 许多 复杂 的 机 器 和 发 动机 ， 例 如 ， 飞 机 、 火 车 、 军 
车 、 建 筑 设备 、 铅 孔 设备 等 。 因 为 造价 昂贵， 保持 这 些 设 备 的 稳定 运转 
古 非 党 重要 的 。 近 些 年 来 ， 从 飞机 发 动机 到 坦克 等 各 种 机 器 上 也 开始 使 
用 髓 入 式 传感器 ， 目 标 是 以 秒 或 野 秒 为 单位 来 监控 设备 的 状态 。 

监测 工作 可 以 做 得 相当 细 ， 特 别 是 在 测试 和 开发 过 程 中 。 例 如 ， 妆 
新 的 发 动机 开 有 出来， 就 得 依靠 获取 到 的 足够 多 的 细节 信息 ， 来 检查 发 
动机 是 否 可 以 按照 预期 设 定 的 方式 工作 。 一 旦 新 发 动机 进入 市 场 ， 再 想 
更 换 有 缺陷 的 部 件 的 花费 会 相当 高 ， 因 此 我 们 需要 事先 详细 地 进行 性 能 
分 析 。 监 测 是 一 项 不 断 持续 的 活动 。 也 许 我 们 并 不 需要 持续 收集 每 一 毫 
秒 的 细 市 信息 ， 但 如 果 能 够 收集 到 大 量 的 细节 信息 ， 我 们 就 可 以 评估 该 
设备 的 生命 周期 ， 识 别 出 重复 出 现 的 问题 。 

例如 ， 友 动机 传感器 可 以 收集 到 从 温度 到 每 分 钟 转 数 、 燃 料 摄 入 率 
再 到 油 压 级 别 等 信息 ， 而 数据 可 以 根据 预先 设 定 的 频率 获取 。 当 读数 频 
































率 、 读 取 指 标 数 量 和 监控 项 目 数 量 增 加 时 ， 数 据 量 会 迅速 增加 。 为 什么 
我 们 要 关心 这 一 点 ? 下 面 我 们 来 看 一 些 例子 。 

使 用 传感器 数据 

发 动机 的 结构 很 复杂 ， 有 很 多 移动 部 件 ， 必 须 在 高 温 下 运转 ， 会 经 
历 各 种 各 样 的 运转 状况 。 因 为 它们 的 成 本 太 高 ， 所 以 期 望 寿命 越 长 越 
好 。 因 此 ， 稳 定 的 、 可 预测 的 性 能 就 变 得 异常 重要 ， 因 为 机 器 的 寿命 依 
赖 于 此 。 例 如 ， 对 故障 飞机 进行 保养 维修 会 花 掉 航空 公司 或 者 空军 部 队 
一 笔 不 小 的 钱 ， 但 这 种 事情 我 们 还 必须 做 ， 因 为 我 们 要 识别 出 飞机 是 否 
存在 安全 隐患 。 因 此 ， 飞 机 或 者 飞机 发 动机 以 及 其 他 设备 的 停机 时 间 一 
定 要 降 到 最 低 ， 航 空 公司 或 者 空军 部 队 对 此 都 有 非常 迫切 的 需求 。 

停机 时 间 最 小 化 策略 包括 准备 备件 或 后 备 发 动机 快速 割 接 时 需要 维 
修 的 设备 、 从 诊断 结果 中 快速 识别 需要 更 换 的 部 件 、 针 对 问题 部 件 投资 
开发 更 可 靠 的 新 版 本 。 要 想 有 效 实施 这 3 种 策略 ， 必 须 得 有 数据 。 我 们 
要 用 数据 生成 诊断 算法 ， 或 者 用 数据 作为 输入 来 诊断 某 个 特定 的 问题 。 
工程 部 门 可 以 使 用 传感器 数据 准确 地 定位 问题 的 原因 ， 设 计 新 的 措施 支 
持 更 长 、 更 可 靠 的 操作 。 不 管 发 动机 是 飞机 的 ， 还 是 船只 的 ， 或 者 是 陆 
地 设备 的 ， 这 些 考虑 因素 都 适用 。 

通过 提取 和 分 析 详 细 的 发 动机 运转 数据 ， 我 们 可 以 精确 地 定位 那些 
会 导致 立即 失效 的 某 些 模式 。 然 后 我 们 就 能 识别 出 会 降低 发 动机 寿命 的 
时 间 分 段 模式 以 及 更 加 频繁 的 维修 。 多 个 变量 的 排列 组 合 数目 ， 特 别 是 
一 段 时间 内 的 排列 组 合 数目 ， 使 得 这 类 数据 分 析 活 动 变 成 了 一 项 挑战 。 
这 个 过 程 不 仅 会 涉及 到 大 数据 ， 就 连 随 之 开发 出 来 的 分 析 也 会 变 得 异常 
复杂 和 困难 。 以 下 是 我 们 可 以 研究 的 一 些 问 题 。 

四 压力 骤然 下 降 是 否 表示 一 定 就 会 出 问题 ? 

四 ”温度 在 几 小 时 内 持续 下 降 是 否 意味 着 还 有 其 他 问题 ? 

四 “振动 水 平 异 常 是 否 意味 着 有 问题 ? 





















































四 ”发 动机 启动 时 的 飞速 转动 是 否 让 茶 些 部 件 的 性 能 严重 受 损 ， 而 且 
还 会 增加 维修 的 次 数 ? 
时 。” 儿 个 月 内 油 压 一 直 比 较 低 ， 是 否 会 使 发 动机 的 东 些 部 件 受 损 ? 


结构 化 数据 内 缺少 结构 性 
传感器 数据 给 我 们 带 来 了 一 个 非常 艰巨 的 挑战 。 虽 然 我 们 收集 到 的 数据 是 结构 化 的 ， 独 立 的 
数据 元 素 也 很 好 理解 ， 但 元 素 之 间 的 时 间 关 系 和 模式 却 根本 无 法 理解 。 延 时 和 无 法 测量 的 外 部 
因素 增加 了 问题 的 复杂 性 。 如 果 要 考虑 所 有 的 信息 ， 识 别 各 种 数据 长 期 的 作用 效果 ， 这 个 过 程 
会 异常 复杂 。 拥 有 结构 化 数据 并 不 一 定 能 够 保证 分 析 方 法 就 是 高 度 结构 化 和 标准 化 的 。 




















































































































在 出 现 严重 问题 的 时 候 ， 先 回头 去 检查 当时 发 生 了 什么 ， 一 直 检查 
到 问题 自己 露出 号 脚 ， 这 种 做 法 会 非常 奏效 。 传 感 器 的 作用 类 似 于 依靠 
飞机 黑 畦 子 的 帮助 诊断 失事 原因 。 友 动机 传感器 数据 可 以 用 于 诊断 活动 
和 研究 行为 。 从 概念 上 讲 ， 相 对 于 先前 我 们 讲 到 的 汽车 保险 案例 中 的 信 
恩 服 务 设备 ， 我 们 这 里 讨论 的 传 感 句 是 一 种 更 复杂 的 形式 。 传 感 器 不 断 
感知 周围 环境 并 获得 数据 信息 ， 这 是 大 数据 世界 中 反复 讨论 的 一 个 主 
题 。 虽 然 我 们 这 里 讨论 的 是 发 动机 ， 但 传 感 硕 还 有 数 不 清 的 各 关 用 途 ， 
这 里 讨论 的 原则 也 同样 适用 。 

如 和 大量 传感器 都 长 时 间 重 复 厦 传感器 数据 收集 流程 ， 那 会 产生 大 
量 丰 富 的 分 析 数 据 。 只 要 好 好 地 分 析 这 些 数据 ， 就 能 发 现 设 备 的 缺陷 ， 
就 有 机 会 主动 修复 这 些 问题 。 我 们 还 可 以 把 设备 中 的 弱点 先行 识别 出 
来 。 随 后 ， 我 们 可 以 制定 好 流程 ， 绥 解 这 些 发 现 带 来 的 问题 。 这 些 措施 
融 来 的 收益 不 止 是 安全 级 别 的 提升 ， 还 会 让 我 们 的 成 本 下 降 。 使 用 传 感 
器 数 据 ， 发 动机 和 设备 都 会 更 加 安全 ， 能 够 提供 服务 的 时 间 就 会 比较 
长 ， 这 样 运营 会 比较 平稳 ， 成 本 也 会 比较 低 。 这 是 一 种 通 局 的 做 法 。 


3.8 视频 游戏 : 遥测 数据 的 价值 











遥测 数据 是 视频 游戏 产业 的 一 个 术语 ， 用 来 描述 捕捉 游戏 活动 的 状 
况 。 其 概念 与 我 们 在 第 2 章 所 讲 的 网 络 大 数据 无 异 ， 这 是 因为 遥测 数据 
收集 的 是 玩家 在 游戏 中 的 活动 情况 。 遥 测 数据 的 收集 对 象 多 数 情况 是 在 
线 游 戏 而 非 掌 上 游戏 。 

在 曲 查 球 比赛 中 ， 琐 测 数 据 收集 的 是 运动 员 在 击 球 进门 时 ， 何 时 进 
的 球 ， 用 的 哪 种 击 球 方 法 ， 球 速 多 少 。 在 战争 游戏 中 ， 遥 训 数 据 收集 的 
是 用 哪 种 枪械 开 的 火 ， 在 哪里 开 的 火 ， 癌 哪个 方 回 开 的 火 ， 枪 械 对 各 种 
东西 的 破坏 程度 。 从 理论 上 讲 ， 相 关 场 景 和 活动 的 所 有 细节 都 能 够 被 收 
集 到 。 

视频 游戏 制造 商 从 中 不 仅 可 以 很 容易 地 了 解 到 有 多 少 客户 购买 了 游 
戏 软 件 ， 还 能 知道 游戏 被 玩 了 多 少 个 小 时 。 使 用 匠 测 数据 ， 游 戏 制 造 商 
可 以 了 解 到 客户 的 私人 信息 ， 他 们 实际 的 玩法 ， 他 们 是 如 何 与 自己 创建 
的 游戏 进行 交互 的 。 我 们 收集 到 的 游戏 数据 可 能 会 很 大 ， 但 视频 游戏 行 
业已 经 开始 积极 地 分 析 这 些 数据 了 。 遥 测 数据 对 很 多 领域 都 产生 了 影 
啊 。 从 遥 训 数据 的 优势 和 用 途 来 看 ， 很 容易 有 发现 它 和 网 络 数据 之 间 的 相 
似 性 。 下 面 我 们 来 看 一 些 例 子 。 

使 用 遥测 数据 

许多 游戏 部 通过 订阅 模式 择 钱 ， 因 此 维持 刷新 率 对 这 些 游戏 束 会 非 
常 重要 。 通 过 挖掘 玩家 的 游戏 模式 ， 我 们 就 可 以 了 解 到 哪些 游戏 行为 是 
与 刷新 率 相关 的 ， 哪 些 是 无 关 的 。 例 如 ， 也 许 在 体育 游戏 比赛 时 ， 使 用 
某 些 辅助 功能 会 大 大 提升 刷新 率 。 游 戏 制造 商会 采取 措施 来 吸引 玩家 等 
试 比赛 ， 以 诱 使 他 们 使 用 以 前 不 兽 使 用 过 的 功能 。 


遥测 数据 只 会 越 来 越 大 

现在 ， 遥 测 数据 捕捉 的 对 象 大 多 是 控制 手柄 或 键盘 行为 。 随 着 交互 式 游戏 的 发 展 ， 它 们 可 以 
做 到 跟踪 玩家 的 动作 ， 而 不 是 依赖 于 控制 手柄 ， 数 据 量 也 会 因此 激增 。 了 解 玩家 在 什么 时 间 按 
下 了 什么 按钮 ， 这 类 数据 量 要 比 了 解 他 身体 上 的 某 个 部 位 在 茶 个 时 刻 的 空间 位 置 以 及 移动 方向 





































































































和 速度 小 得 多 。 








比较 新 的 游戏 往往 喜欢 让 玩家 花 一 点 小 钱 在 游戏 过 程 中 购买 物品 ， 
这 就 是 所 谓 的 微 交 易 ‘(microtransaction)。 例 如 ， 一 种 特殊 的 武器 只 卖 
10 美 分 。 我 们 可 以 对 游戏 进行 分 析 ， 识 别 出 在 哪些 地 方 这 类 微 交 易 的 成 
功率 会 比较 高 。 也 许 游戏 中 的 某 个 地 点 提供 一 种 非常 顺手 的 武器 ， 这 种 
武 占 会 引起 玩家 的 闷 抢 。 我 们 可 以 使 用 屏幕 的 快速 提示 来 告诉 玩家 现在 
有 武器 可 以 购买 ， 这 样 许多 玩家 都 会 选择 购买 该 武器 装备 。 

与 其 他 行业 类 似 ， 在 视频 游戏 产业 中 ， 客 户 满意 度 同 样 也 是 一 个 大 
问题 。 视 频 游 戏 的 独特 之 处 在 于 要 设置 一 条 非常 非常 精彩 的 行进 路 线 。 
游戏 要 给 玩家 提供 挑战 机 会 ， 但 挑战 不 能 过 度 ， 过 度 的 挑战 会 让 玩家 有 
挫败 感 进而 放弃 游戏 。 如 果 游 戏 过 于 简单 或 者 过 于 复杂 ， 玩 家 就 会 感到 
厌倦 并 转 癌 其 他 游戏 。 

通过 游戏 分 析 ， 我 们 能 够 识别 出 游戏 中 哪些 关卡 每 名 玩家 都 能 轻松 
过 关 ， 哪 些 关 卡 即使 是 最 顶级 的 玩家 也 很 难过 关 。 我 们 可 以 增加 或 减少 
这 些 地 方 的 敌人 人， 尽量 使 难度 等 级 比较 平衡 。 平 衡 的 游戏 难度 等 级 可 以 
为 玩家 提供 更 加 一 致 的 体验 ， 也 会 让 他 们 更 有 满足 感 。 这 样 会 导致 更 高 
的 刷新 率 和 更 多 的 购买 行为 。 

通过 遥测 数据 ， 玩 家 还 可 以 根据 游戏 风格 进行 分 类 。 使 用 这 类 信息 
既 可 以 设计 出 更 优秀 的 游戏 ， 又 能 交叉 销售 现 有 的 产品 。 其 中 某 个 玩家 
族群 可 以 全 映 心 地 投入 到 游戏 通关 中 ， 而 另 一 个 玩家 族群 可 以 负责 在 通 
关 前 收集 所 有 的 奖品 ， 最 后 一 个 玩家 族群 则 可 以 在 收 关 前 探索 关卡 中 的 
所 有 角 沙 。 通 过 这 种 组 合 ， 每 个 玩家 都 可 以 在 游戏 中 使 用 自己 最 喜欢 的 
游戏 方法 进行 训练 。 

遥测 数据 能 够 了 解 到 玩家 的 认 知 层次 ， 基 于 此 可 以 改变 整个 游戏 
业 。 游 戏 业 已 经 开始 使 用 遥测 数据 ， 相 信 在 不 和 久 的 将 来 这 个 领域 将 会 得 
到 长 足 的 有 发展。 依据 遥测 数据 分 析 的 效果 ， 游 戏 制 作 和 推广 的 方式 将 会 


























发 生 巨大 的 改变 。 
3.9 ”电信 业 与 其 他 行业 : 社交 网 络 数据 的 价 信 


与 传统 数据 相 比 ， 社 交 网 络 数据 本 里 束 是 一 种 大 数据 源 ， 即 使 从 很 
多 方面 来 看 ， 它 更 像 是 一 种 分 析 方 法 学 。 其 中 的 原因 在 于 ， 执 行 社交 网 
络 分 析 的 过 程 需要 处 理 已 经 无 比 庞大 的 数据 集 ， 此 外 ， 还 要 使 用 行 之 有 
效 的 方法 将 处 理 规 模 提 升 几 个 数量 级 。 

有 人 会 争辩 说 ， 移 动 运营 商 拿 到 的 全 部 移动 电话 的 话音 或 者 短信 记 
录 本 身 束 是 大 数据 ， 且 这 种 数据 可 以 用 于 多 种 用 途 。 但 是 ， 社 交 网 络 分 
析 关 注 多 个 关系 维度 而 非 单 个 维度 ， 从 而 可 以 做 到 更 上 一 层 楼 。 这 也 束 
是 社交 网 络 分 析 可 以 把 传统 的 数据 源 变 成 大 数据 的 原因 。 

对 于 现代 电话 公司 ， 仅 仅 看 通话 量 是 不 够 的 ， 电 话 公司 还 需要 把 通 
话 作 为 独立 实体 进行 分 析 。 社 交 网 络 分 析 首 先 要 看 有 哪些 人 参与 了 通 
话 ， 然 后 再 用 更 深入 的 视角 进行 分 析 。 我 们 不 仅 要 知道 自己 给 谁 打 了 电 
话 ， 还 要 知道 我 致电 的 那个 人 还 给 谁 打 了 电话 ， 这 些 人 接 下 来 双打 给 了 
什么 人 ， 依 此 类 推 。 要 想得到 社交 网 络 的 全 景 图， 我 们 就 得 触及 系统 能 
够 处 理 的 上 限 。 多 层 客户 与 客户 之 间 的 导航 关联 以 及 多 层 通话 都 会 使 得 
数据 量 倍 增 。 此 外 ， 它 还 增加 了 分 析 的 难度 ， 尤 其 是 使 用 传统 工具 时 的 
分 析 难 度 。 

同样 的 概念 也 适用 于 社交 网 络 站 点 。 通 过 分 析 社 交 网 络 中 的 某 个 成 
员 ， 不 难 分 析出 这 个 成 员 有 多 少 关 联 关 系 ， 她 发 短信 的 频率 ， 她 访问 站 
点 的 频率 ， 以 及 其 他 一 些 指 标 。 但 是 ， 当 成 员 与 其 朋友 、 与 朋友 的 朋 
友 、 与 朋友 的 朋友 的 朋友 都 有 关联 关系 时 ， 这 时 了 解 网 络 边 界 所 需要 的 
处 理 量 就 会 大 得 多 。 

一 干 个 成 员 或 用 户 不 难 跟踪 。 但 是 ， 他 们 之 间 的 直接 关联 关系 会 上 
升 到 百 万 级 别 ， 而 再 考虑 到 “朋友 的 朋友 ” 则 会 升 至 十 亿 级 别 。 这 就 是 社 



























































区 网 络 分 析 是 一 个 大 数据 问题 的 原因 所 在 。 今 天 ， 己 经 有 了 大 量 的 应 用 
来 分 析 这 种 关联 关系 。 

使 用 社交 网 络 数据 

社交 网 络 数 据 及 分 析 有 一 些 影响 深远 的 应 用 ， 其 中 一 种 重要 的 应 用 
正在 改变 着 公司 评价 客户 的 行为 。 和 以 前 只 看 个 人 的 情况 不 同 ， 现 在 参 
考 的 是 他 们 的 网 络 整体 价值 。 我 们 这 里 谈 的 例子 也 同样 适用 于 许多 其 他 
的 行业 ， 在 这 些 行业 里 我 们 同样 需要 了 解 人 与 人 或 者 群体 与 群体 之 间 的 
关系 ， 但 现在 我 们 关注 的 是 手机 用 户 ， 因 为 在 这 里 这 种 方法 的 应 用 范围 
最 广 。 

假定 电信 运营 商 有 一 个 价值 相对 较 低 的 用 户 。 这 名 用 户 只 有 基本 的 
通话 需求 ， 不 会 为 运营 丙 融 来 任何 增值 收入 。 事 实 也 是 ， 不 能 创造 利润 
的 客户 束 古 没有 价值 的 。 运 营 商 以 往 的 作法 是 ， 只 根据 他 或 她 的 个 人 账 
户 来 对 其 进行 评价 。 以 前 如 果 这 名 客户 打 电 话 投诉 或 者 威胁 要 更 换 运 和 营 
商 ， 公 司 可 能 不 会 挽留 他 ， 因 为 它们 认为 这 名 客户 并 不 值得 挽留 。 

使 用 社交 网 络 分 析 技 术 ， 虽 然 我 们 的 客户 通话 账单 看 似 价值 不 高 ， 
但 我 们 可 以 识别 出 客户 曾经 和 某 些 人 通过 电话 ， 而 这 些 人 是 有 着 广泛 区 
际 图 的 重量 级 人 物 。 换 句 话 说 ， 客 户 联 系 对 运营 商 而 言 是 非常 有 价值 的 
信息 。 研 究 表明 ， 一 旦 茶 位 成 员 离 开通 话 的 轿子， 其 他 成 员 很 可 能 会 跟 
者 离开 ， 更 多 的 成 员 开 始 离开 ， 融 像 传染 病 一 样 。 很 快 ， 圈 内 成 员 开 始 
雪 朋 般 地 离开 ， 显 然 这 是 坏事 一 桩 。 


超越 个 人 价值 
社交 网 络 数据 非常 吸引 人 的 一 个 好 处 是 ， 它 能 够 识别 出 客户 能 影响 的 整体 收入 ， 而 不 仅 仪 是 
他 或 她 自己 提供 的 直接 收入 。 不 同 的 角度 会 大 大 影响 投资 某 个 客户 的 决策 。 能 够 产生 高 影响 力 
的 客户 需要 被 细心 照料 ， 因 为 他 们 能 产生 本 身 直 接 价 值 以 外 的 更 大 价值 。 如 果 要 使 其 网 络 整体 
利益 最 大 化 ， 这 种 最 大 化 的 优先 级 要 高 于 其 个 体 利益 的 最 大 化 。 




















































































































使 用 社交 网 络 分 析 ， 我 们 可 以 理解 本 例 中 客户 对 企业 的 总 体 价值 而 
非 只 是 其 所 产生 的 直接 价值 。 这 种 处 理 客 户 的 决策 完全 不 同 。 电 信和 运营 
商 对 客户 过 度 投 资 的 原因 是 要 维护 客户 网 络 。 我 们 可 以 准备 好 商业 案例 
来 维护 更 广 的 客户 圈 ， 而 不 只 是 保护 客户 个 体 的 价值 。 

上 面 的 这 个 例子 非常 棒 ， 它 解释 了 大 数据 分 析 是 怎样 在 以 往 未 曾 出 
现 过 的 新 决策 环境 中 产生 重大 价值 的 。 如 果 没 有 大 数据 ， 客 户 会 被 批准 
更 换 运 营 商 ， 当 他 的 朋友 们 也 随 之 而 去 ， 电 信 运 营 商 将 看 到 雪 朋 般 的 损 
失 。 现 在 目标 已 经 从 个 体 账户 的 利益 最 大 化 转 癌 了 客户 社交 网 络 利 益 的 
最 大 化 。 

识别 有 着 广泛 联系 的 客户 也 能 帮助 我 们 把 注意 力 放 到 最 能 影响 品牌 
形象 的 地 方 。 我 们 可 以 给 有 广泛 联系 的 客户 自由 试用 的 机 会 ， 并 记录 下 
他 们 的 反馈 。 我 们 要 做 出 努力 ， 让 客户 主动 地 参与 公司 的 社交 网 站 站 
点 ， 激 励 客 户 写 评论 和 表达 观点 。 有 些 公司 积极 地 招 盘 有 影响 力 的 客 
户 ， 给 他 们 奖励 、 提 前 试用 的 机 会 和 其 他 好 处 。 作 为 回报 ， 那 些 有 影 啊 
力 的 客户 会 持续 地 发 挥 他 们 的 影响 力 ， 因 为 如 果 受 到 优待 ， 他 们 的 语气 
往往 会 更 加 积极 主动 。 

LinkedIn 或 Facebook 等 社交 网 站 正在 利用 社交 网 络 分 析 技 术 来 洞察 哪 
些 广告 会 对 何 种 用 户 构 成 吸引 。 我 们 关心 的 并 不 仅仅 是 客户 自己 表达 的 
兴趣 ， 与 此 同等 重要 的 是 ， 我 们 还 要 了 解 他 的 朋友 疾 和 同事 圈 对 什么 有 
兴趣 。 社 交 成 员 永 远 也 不 会 在 社交 网 站 上 表露 自己 的 全 部 兴趣 ， 我 们 也 
不 可 能 了 解 到 关于 他 的 所 有 细节 。 但 是 ， 如 果 客 户 一 大 部 分 朋友 都 对 骑 
单车 感 兴趣 ， 我 们 就 可 以 推导 出 这 名 客户 也 对 单车 有 兴趣 ， 即 使 他 永远 
也 没有 直接 表达 过 。 

执法 部 门 和 反恐 部 门 也 可 以 从 社交 网 络 分 析 中 受益 。 我 们 可 以 识别 
出 哪些 人 和 问题 人 群 或 者 问题 个 人 有 联系 ， 甚 至 有 间接 联系 。 我 们 通 沼 
把 这 类 分 析 称 为 链接 分 析 。 有 可 能 是 某 个 个 人 或 者 群体 、 甚 至 是 某 个 俱 
乐 部 或 者 餐馆 跟 坏 人 有 联系 。 如 果 我 们 发 现 有 人 和 许多 坏人 在 多 个 地 方 















































出 入 ， 他 或 她 残 会 被 定位 ， 我 们 会 认为 这 些 人 值得 更 深入 地 监控 分 析 。 
里 然 这 会 涉及 到 隐私 问题 ， 但 实际 上 这 种 分 析 已 经 开始 个 使 用 。 

对 于 在 线 视频 游戏 领域 ， 这 类 分 析 也 是 有 价值 的 。 谁 在 和 谁 玩 ? 游 
戏 内 部 的 模式 是 如 何 变 化 的 ? 社交 网 络 分 析 拓 展 了 前 面 讲 到 的 遥测 数据 
的 应 用 范围 。 我 们 可 以 识别 出 茶 位 玩家 在 不 同 游戏 中 的 首选 伙伴 。 前 面 
我 们 已 经 讨论 过 如 何 根据 玩家 个 人 的 玩法 对 玩家 进行 分 类 。 玩 法 相近 的 
那些 玩家 已 经 在 组 队 玩 游戏 了 吗 ? 玩家 们 需要 的 是 不 是 混搭 风格 ? 了 解 
这 类 信息 就 可 以 知道 游戏 制造 商 是 不 是 想 让 玩家 组 队 玩 游戏 〈 例 如 ， 对 
玩家 提出 建议 ， 当 玩家 登录 并 开始 玩 游戏 的 时 候 ， 他 应 该 优先 选择 加 入 
哪个 编组 ) 。 

关于 组 织 之 间 联 系 的 方式 还 有 不 少 有 趣 的 研究 。 这 些 研究 最 开始 关 
注 的 是 通过 电子 邮件 、 电 话 、 短 信 建 立 起 来 的 联系 。 公 司 各 部 门 之 间 是 
不 是 按照 期 望 的 方式 在 联络 ? 是 不 是 有 些 员工 通过 典型 渠道 之 外 的 方法 
在 联系 呢 ? 谁 在 内 部 拥有 广泛 的 影响 力 ， 且 是 参与 研究 如 何 更 好 地 改善 
公司 内 部 沟通 机 制 的 最 佳人 选 ? 这 类 分 析 可 以 帮助 公司 更 好 地 理解 人 与 
人 之 间 的 沟通 方式 。 

社交 网 络 分 析 的 流行 度 和 影 啊 度 一 定 会 持续 下 去 。 因 为 社交 网 络 分 
析 演 程 本 里 会 保持 指数 级 的 增长 态势 ， 因 而 数据 源 束 会 变 得 比 初始 构想 
的 要 大 得 多 。 也 许 最 有 效 的 功能 是 提供 关于 客户 整体 影响 和 价值 的 洞 
察 ， 而 这 种 调 察 可 以 完全 厦 履 企业 对 客户 的 看 法 。 


3.10 ”本 章 小 结 





























以 下 是 本 章 的 主要 内 容 。 

四 ”虽然 各 行 各 业 都 有 广泛 的 大 数据 源 ， 但 它们 仍 有 一 些 共同 的 主 
题 。 虽 然 目 的 不 同 ， 但 各 行 各 业 都 使 用 了 相同 的 压 层 技术 ， 如 RFID。 

四 ”许多 大 数据 源 都 有 隐私 问题 ， 我 们 一 定 要 始终 慎重 对 待 这 个 问 





题 。 

四” 车载 信 息 服 务 数据 可 以 针对 汽车 保险 政策 提供 更 好 的 定价 策略 。 
但 是 ， 我 们 收集 的 车 载 数据 也 有 可 能 会 使 交通 管理 和 道路 规划 发 生 革 命 
性 的 改变 。 

四 ”文本 数据 是 最 大 的 ， 也 是 应 用 最 广泛 的 一 类 大 数据 源 。 一 般 来 
说 ， 我 们 关心 的 是 如 何 从 文本 中 提取 到 重要 的 事实 ， 然 后 如 何 使 用 这 些 
事实 作为 其 他 分 析 流 程 的 输入 。 

外” 时间 和 位 置 数 据 的 影响 力 越 来 越 大 。 为 了 在 某 个 时 间 和 地 点 给 客 
户 提 供 针 对 性 的 信息 ， 公 司 必 须要 利用 更 复杂 的 信息 。 

四 ”在 零售 业 和 制造 业 ，REFID 数 据 开 始 文 持 新 的 分 析 应 用 ， 从 库存 
分 析 到 其 诈 分 析 ， 再 到 员工 绩效 分 析 。 

四 智能 电网 不 但 能 使 电力 公司 更 好 地 管理 电网 ， 而 且 消费 者 也 可 以 
更 好 地 控制 自己 的 用 电量 。 

四 ”使 用 RFID 标 签 跟 踩 筹码 可 以 帮助 赌场 更 准确 地 跟踪 玩家 的 活 
动 ， 同 时 降低 付款 错误 和 作 次 的 次 数 。 

四 ”传感器 数据 可 以 提供 关于 发 动机 和 设备 性 能 的 有 力 信息 ， 还 能 用 
来 更 方便 地 诊断 问题 ， 更 快 地 开 友 解决 问题 的 程序 。 

四 ”视频 游戏 制造 商 可 以 使 用 遥测 数据 更 好 地 定位 微 交 易 ， 改 善 游 戏 
流程 ， 通 过 游戏 风格 对 玩家 进行 分 群 。 

社交 网 络 数据 滋生 出 很 多 种 新 的 客户 评价 方法 。 在 电信 业 ， 社 交 网 
络 分 析 已 经 把 焦点 从 账户 愉 利 分 析 转 向 了 社交 网 络 价 利 分 析 。 
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第 4 章 
分 析 可 扩展 性 的 演进 


不 言 而 噜 ， 大 数据 的 世界 需要 更 高 层次 的 可 扩展 性 。 随 着 公司 处 理 
的 数据 量 持续 增长 ， 原 有 的 数据 处 理 方 法 已 经 无 法 应 对 现 有 的 数据 量 。 
那些 没有 更 新 技术 以 提供 更 高 层次 的 可 扩展 性 的 企业 ， 将 无 法 应 对 大 数 
据 市 来 的 数据 处 理 压力 。 幸 运 的 是 ， 在 大 数据 处 理 、 分 析 与 应 用 的 不 同 
层面 中 ， 有 很 多 拉 术 可 供 使 用 。 其 中 有 些 技术 还 非常 新 ， 而 大 数据 领域 
的 公司 也 需要 与 时 俱 进 。 

这 一 章 会 讨论 能 够 帮助 我 们 获 驶 大 数据 的 几 种 重要 技术 : 分 析 与 数 
据 环 境 的 关联 性 、 海 量 并 行 处 理 架 构 (Massively Parallel Processing， 
MPP) 、 云 计算 、 网 格 计 算 以 及 MapReduce。 

开始 讲述 具体 内 容 以 前 ， 请 记 住 本 书 的 定位 并 不 是 一 本 技术 书籍 。 
这 一 章 ， 以 及 随后 的 第 5 章 与 第 6 草 ， 将 会 是 技术 性 内 容 最 多 的 章节 ， 但 
是 所 有 的 技术 内 容 都 将 局 限 在 概念 层面 ， 以 确保 技术 背景 不 深 的 读者 也 
可 以 轻松 地 理解 。 为 了 达到 这 个 目标 ， 本 书 对 某 些 技术 细节 进行 了 一 定 
程度 的 简化 处 理 。 如 果 读 者 想 了 解 更 多 的 技术 细节 ， 可 以 阅读 专注 于 技 
术 本 号 的 其 他 书籍 。 


4.1 分 析 可 扩展 性 的 历史 


在 20 世 纪 初 期 ， 进 行 数 据 分 析 是 一 件 非常 非常 困难 的 事情 。 如 末 要 
进行 东 些 深入 分 析 ， 例 如 ， 建 立 预 测 模型 ， 则 需要 完全 依靠 人 们 手工 进 
行 各 种 统计 运算 。 举 个 例子 ， 为 了 构建 一 个 线性 回归 模型 ， 人 们 不 得 不 
手工 计算 和 窍 阵 并 进行 窍 阵 的 转 置 运算 ， 连 矩阵 参数 估计 的 计算 也 需要 手 
工 进 行 。 当 时 人 们 已 经 拥有 了 一 些 基 础 的 计算 辅助 工具 ， 但 绝 大 部 分 计 




















算 过 程 还 是 需要 依靠 手工 来 完成 。 在 那个 时 代 ， 获 得 分 析 所 需 的 数据 是 
很 困难 的 事情 ， 但 是 使 用 这 些 数据 更 加 困难 。 那 个 时 代 人 们 几乎 没有 任 
何 形式 的 可 扩展 分 析 能 力 。 

计算 尺 的 出 现 让 情况 稍 有 好 转 ，20 世 纪 70 年 代 出 现 的 计算 器 使 更 大 
数据 量 的 计算 变 得 更 容易 了 一 些 ， 但 是 那个 时 候 的 计算 器 可 以 处 理 的 数 
据 规 模 仍 然 十 分 有 限 。20 世 纪 80 年 代 进 入 主流 市 场 的 计算 机 ， 真 正 地 把 
人 们 从 繁琐 的 手工 计算 中 彻底 解脱 了 出 来 。 然 而 ，20 世 纪 80 年 代 之 前 出 
现 的 计算 机 只 有 极 少 数 人 可 以 接触 到 ， 而 且 这 些 计算 机 都 极为 昂 贯 ， 操 
作 也 相当 困难 。 

几 十 年 过 去 了 ， 现 在 人 们 处 理 的 数据 已 经 远 远 超过 了 手工 处 理 时 代 
的 数据 规模 。 随 着 数据 规模 的 快速 增长 ， 计 算 机 处 理 数据 的 能 力也 在 不 
断 增 强 ， 人 们 已 经 不 再 需要 进行 手工 计算 了 ， 但 海量 数据 仍然 给 计算 机 
与 数据 存储 带 来 了 巨大 的 挑战 。 

随 大 数据 处 理 与 分 析 技 术 的 飞速 发 展 ， 人 们 可 以 处 理 的 数据 规模 也 
变 得 越 来 越 大 得 “可 怕 ”。 十 几 年 前 ， 只 有 超大 型 企业 或 菜 些 预算 充足 的 
政府 部 门 才 可 以 处 理 TB 量 级 的 数据 。 在 2000 年 ， 只 有 那些 最 领先 的 公 
司 才 拥有 TB 量 级 的 数据 库 ， 而 今天 只 需要 100 美 元 就 可 以 为 你 的 个 人 计 
算 机 买 一 个 1TB 的 硬盘。 到 了 2012 年 ， 很 多 小 型 企业 内 部 数据 库 的 数据 
规模 都 超过 了 1TB， 某 些 领先 公司 的 数据 库 已 经 达到 了 PB 量 级 的 规模 。 
仅仅 过 了 十 来 年 ， 数 据 规模 就 至 少 扩 大 了 1000 倍 ! 

此 外 ， 随 着 新 的 大 数据 源 的 出 现 ， 数 据 规模 将 达到 一 个 新 的 量 级 。 
有 些 大 数据 的 数据 源 在 仅仅 几 天 或 几 周 ， 甚 至 是 几 个 小 时 内 ， 束 可 以 生 
成 TB 或 PBB 量 级 的 数据 ， 数 据 处 理 的 极限 叉 将 面临 一 次 新 的 挑战 。 历 史 
上 上 人们 敬 驶 了 那些 当时 看 起 来 很 “可 怕 ” 的 数据 ， 随 着 时 间 的 推移 ， 这 次 
大 数据 带 来 的 海量 数据 也 终 将 被 再 次 敬 驭 。 

在 这 个 时 代 ， 一 个 刚 走 进 大 学 的 一 年 级 新 生 ， 他 的 计算 机 可 能 就 拥 
有 好 几 个 PB 的 数据 ， 他 会 在 一 些 存 储 了 Exabyte 甚 至 是 Zettabyte 数 据 的 


























系统 上 工作 ， 他 们 希望 这 个 系统 能 在 儿 秒 或 者 儿 分 钟 内 给 出 计算 结 

而 不 是 几 小 时 或 几 天 。 表 4-1 列 出 了 目前 人 们 使 用 的 数据 规模 计量 单 

位 ， 以 及 随 看 数据 规模 扩大 而 新 出 现 的 计量 单位 。 在 历史 上 ， 第 一 个 探 

索 并 成 功 突破 数据 极限 的 人 获得 了 丰厚 的 回报 ， 未 来 也 一 定 会 这 样 。 
表 4-1 数据 规模 的 衡量 单位 


1024 个 单位 的 :……… ，……， 等 于 1 个 单位 的 
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1PB 可 以 存储 的 文本 ， 妇 
mye) | 沪 2 i 和 ] 的 
TO | | ee 
ee : NN 四 击 


ZB (Zettabyte ) YB (Yottabyte ) 珀 联网 的 全 部 信息 量 加 起 来 大 概 是 1Yottabyte 


1 评论 基于 这 个 网 站 的 信息 : http:/whatsabyte.com。 








4.2 分 析 与 数据 环境 的 关联 性 


在 过 去 ， 分 析 专 家 在 进行 分 析 时 把 所 需 的 所 有 数据 导入 一 个 独立 的 
分 析 环 境 中 ， 这 常常 是 不 可 避免 的 。 分 析 专 家 需要 的 数据 大 都 不 在 一 个 
地 方 ， 而 分 析 专 家 使 用 的 分 析 工 具 通 常 也 无 法 直接 对 这 些 数据 集 进行 分 
析 ， 唯 一 可 行 的 选择 就 是 把 数据 汇集 到 一 个 独立 的 分 析 环 境 中 ， 然 后 再 
进行 各 种 分 析 。 分 析 专 家 最 常 做 的 工作 是 各 种 高 级 分 析 ， 包 括 数据 挖 
掘 、 预 测 模 型 和 其 他 的 一 些 复 杂技 术 ， 我 们 会 在 第 7 章 讨 论 这 些 内 容 。 

数据 分 析 师 早期 做 的 事情 与 数据 仓库 有 痢 有 趣 的 相似 性 。 当 人 们 仔 
细 思 考 数 据 分 析 与 数据 仓库 ， 常 常会 惊讶 于 这 两 者 竟然 如 此 相似 。 分 析 
师 一 直 在 处 理 各 种 不 同 的 数据 集 ， 这 些 分 析 师 定义 的 数据 集 与 数据 库 里 

















的 表 并 没有 本 质 区 别 。 与 数据 库 里 的 表 一 样 ， 分 析 数 据 集 也 有 行 和 列 ， 
每 一 行 数据 通常 代表 了 某 一 实体 ， 如 一 个 客户 ， 而 不 同 列 则 是 这 个 实体 
的 各 种 信息 ， 如 客户 名 称 、 消 费 水 平 、 当 前 状态 等 。 

分 析 师 一 直 在 把 不 同 数据 集 “ 整 合 ” 在 一 起 进行 分 析 。 猪 猜 看 ? 数据 
库 里 也 有 一 个 完全 一 样 的 操作 ， 即 库 内 数据 表 的 “连接 *"。“ 整 合 ” 与 “ 连 
接 ” 都 需要 把 两 个 或 者 更 多 的 数据 集 或 库 内 数据 表 进 行 天 联 ， 即 把 某 个 
数据 集 或 表 的 某 些 行 数据 与 为 一 个 数据 集 或 表 的 某 些 行 数据 连接 在 一 
起 。 例 如 ， 某 一 个 数据 集 或 表 里 有 客户 的 人 口 统计 类 信息 ， 另 外 一 个 数 
据 集 或 表 里 有 客户 的 消费 文 出 ， 把 这 两 个 数据 集 或 表 关 联 起 来 ， 我 们 将 
同时 获得 每 个 客户 的 人 口 统计 与 消费 文 出 信息 。 

另外 ， 分 析 师 还 经 党 做 一 项 叫做 “数据 准备 ”的 工作 。 在 这 项 工作 
中 ， 分 析 师 抽取 不 同 数据 源 的 数据 ， 把 这 些 数据 汇集 在 一 起 ， 然 后 建立 
分 析 所 需 的 各 种 变量 。 在 数据 仓库 中 ， 我 们 把 这 个 过 程 叫 做 “提取 

(Extract) ， 转 换 〈Transform) 和 加 载 (Load) ”， 人 简称 为 ETL 过 程 。 
从 本 质 上 讲 ， 在 数据 集 市 和 数据 仓库 还 没有 被 发 明 前 ， 分 析 师 们 束 一 直 
在 开发 个 性 化 的 数据 集 市 或 数据 仓库 了 ! 区 别 在 于 ， 分 析 师 是 根据 自己 
的 使 用 需要 为 不 同 项 目 进行 开发 ， 而 数据 集 市 和 数据 仓库 通 剃 遵循 一 个 
标准 化 的 开发 过 程 ， 并 开放 给 很 多 人 使 用 。 

20 年 以 前 ， 大 多 数 分 析 师 都 在 主机 系统 上 进行 分 析 。 主 机 系统 里 的 
数据 都 存储 在 类 似 大 圆 盘 的 磁带 库 上 。 为 了 让 自己 的 工作 能 在 截止 日 期 
前 顺利 完成 ， 我 还 记得 曾经 给 主机 系统 的 管理 员 打 电话 ， 请 求 他 们 早点 
加 载 我 的 磁 融 库 数据 。 随 着 时 代 的 变迁 ， 一 个 重大 的 变革 出 现 了 ， 那 就 
是 关系 型 数据 库 。 

关系 型 数据 库 管 理 系统 (Relational Database Management System， 
RDBMS ) 很 快 就 流行 了 起 来 ， 并 且 显著 增强 了 数据 扩展 性 和 适应 性 。 
关系 型 数据 库 已 经 成 为 了 管理 数据 的 事实 标准 ， 使 用 大 型 主机 进行 分 析 
在 今天 已 经 极为 罕见 。 因 此 ， 现 在 绝 大 部 分 用 于 分 析 的 数据 都 存储 于 关 












































系 型 数据 库 内 。 关 系 型 数据 库 无 处 不 在 ， 但 也 存在 例外 情况 ， 如 基于 
MapReduce 技 术 的 非 结构 化 数据 处 理 平 台 。 我 们 将 在 随 
后 “MapReduce” 这 一 节 进 行 详细 阐述 。 


集中 化 的 力量 
集中 化 的 企业 级 数据 仓库 已 经 成 为 了 一 种 趋势 ， 而 这 种 趋势 给 数据 分 析 ， 特 别 是 复杂 的 高 级 
分 析 带 来 了 巨大 的 影响 。 数 据 仓库 把 企业 内 的 数据 集中 到 一 个 地 方 ， 分 析 师 们 再 也 不 用 为 了 茶 
一 项 分 析 把 数据 挪 来 挪 去 进行 整合 了 ， 数 据 仓 库 里 的 数据 已 经 被 整合 好 了 ， 分 析 师 可 以 直接 进 
行 分 析 。 这 些 技术 开辟 了 一 个 新 的 分 析 世 界 ， 让 分 析 具 有 了 更 大 的 可 扩展 性 与 更 多 的 可 能 性 。 

























































































最 开始 ， 数 据 库 都 是 为 了 某 一 个 特定 目的 或 团队 构建 的 ， 企 业 里 通 
常 存在 许多 不 同 的 关系 型 数据 库 。 这 些 单一 目的 的 数据 库 通常 被 称 
为 “数据 集 市 (Data Mart) ”。 当 许多 企业 还 在 忙 痢 使 用 数据 集 市 时 ， 一 
些 领先 的 公司 看 到 了 把 不 同 数据 集 市 的 数据 集中 到 一 个 大 系统 中 的 价 
值 ， 这 个 大 系统 叫做 企业 级 数据 仓库 (Enterprise Data Warehouse,， 
EDW) 。 

企业 级 数据 仓库 的 目标 是 把 企业 所 有 重要 的 数据 都 集中 到 一 个 中 央 
数据 库 中 ， 从 而 创建 对 于 事实 唯一 版 本 的 描述 。 数 据 仓库 把 不 同 数 据 进 
行 交 叉 关 联 ， 让 不 同业 务 主题 与 数据 领域 的 关联 分 析 与 报表 成 为 可 能 。 
财务 数据 与 市 场 数 据 完 全 割裂 的 时 代 一 去 不 复 返 了 。 

让 事情 变 得 更 有 趣 的 是 ， 一 旦 所 有 的 数据 都 在 一 起 了 ， 分 析 时 残 再 
也 不 用 从 不 同 的 数据 源 抽取 数据 了 。 越 来 越 多 的 分 析 都 可 以 直接 使 用 数 
据 仓库 内 部 的 数据 完成 。 图 4-1 和 图 4-2 清 晰 地 说 明了 这 两 种 不 同 的 工作 














图 分 析 服 务 器 或 个 人 电脑 


在 传统 的 分 析 架 构 中 ， 主 要 的 数据 处 理工 作 都 发 生 在 分 析 环 境 中 ， 


这 个 分 析 环 境 甚 至 可 能 是 一 台 个 人 电脑 | 
图 4-1 传统 的 分 析 架 构 





提交 申请 


分 析 服务 器 
或 个 人 电脑 


在 库 内 分 析 的 环境 中 ， 数 据 处 理 一 直 在 数据 库 内 完成 ， 而 这 也 是 进行 数据 整合 的 地 方 。 
用 户 的 个 人 电脑 只 是 提交 分 析 指令 ， 而 不 进行 复杂 运算 。 
图 4-2 ”现代 的 库 内 分 析 架 构 





在 企业 级 数据 仓库 环境 中 ， 大 部 分 数据 源 都 已 经 航 整合 在 一 起 了 。 
如 宁 企 业 级 数据 库存 在 部 分 数据 缺失 ， 那 么 将 从 数据 仓库 中 抽取 出 来 的 
90% 一 95% 的 数据 与 外 部 5% 一 10%% 的 数据 进行 整合 分 析 是 完全 没有 意 
义 的 。 正 确 的 做 法 是 把 外 部 5% 一 10%% 的 数据 导入 数据 仓库 内 ， 然 后 在 
数据 仓库 内 进行 分 析 。 换 句 话 说 ， 在 数据 所 处 的 地 方 进行 分 机 ， 而 不 是 
把 数据 拿 到 分 析 的 地 方 去 ， 这 就 是 库 内 分 析 的 理念 。 


优化 你 的 架构 

既然 可 以 在 数据 所 在 的 地 方 进行 分 析 ， 为 什么 还 要 耗费 大 量 的 时 间 、 人 力 和 金钱 把 数据 抽取 
到 分 析 的 地 方 呢 ?” 这 束 是 库 内 分 析 的 简洁 原则 ， 并 将 为 扩展 性 带 来 实质 性 的 飞 路 。 在 大 数据 时 
代 ， 不 使 用 库 内 分 析 技 术 ， 将 使 驾驭 大 数据 变 得 前 所 未 有 的 困难 。 






















































































在 20 世 纪 90 年 代 ，Teradata 公 司 是 第 一 家 推行 库 内 分 析 的 公司 。 到 了 
今天 ， 几 乎 所 有 的 数据 库 三 商都 接受 了 这 个 概念 。 企 业 级 数据 仓库 ， 以 
及 数据 集 市 的 扩展 性 和 灵活 性 已 经 足以 文 持 库 内 分 析 过 程 。 库 内 分 析 对 
于 大 规模 并 行 处 理 系 统 更 加 重要 ， 我 们 将 在 随后 进行 讨论 。 关 键 的 概念 
是 ， 就 像 前 面 提 到 的 ， 要 在 数据 所 在 的 地 方 进行 分 析 ， 而 不 是 把 数据 拿 
到 分 析 的 地 方 去 。 让 数据 库 做 它 最 适合 做 的 事情 ， 就 是 管理 数据 。 

今天 的 大 学 生 可 能 已 经 不 太 了 解 主 机 系统 ， 也 很 难 想象 在 磁带 驱动 
器 上 进行 分 析 。 也 许 过 不 了 多 和 久 ， 他 们 将 会 不 理解 为 什么 分 析 环 境 与 数 
据 环境 曾经 是 彼此 独立 的 ， 也 将 无 法 区 分 数据 分 析 环 境 与 存储 环境 。 这 
两 者 将 融 为 一 体 不 分 彼此 ， 因 为 它 本 来 就 该 是 这 样 的 。 


4.3 海量 并 行 处 理 系统 


海量 并 行 处 理 (Massively Parallel Processing，MPP) 数据 库 系 统 已 
经 出 现 几 十 年 了 。 不 同 供应 商 的 系统 架构 可 能 存在 差异 ， 但 对 于 存储 并 

















分 析 海 量 数据 来 说 ，MPP 是 最 成 熟 、 经 过 验证 的 、 使 用 最 广泛 的 处 理 机 
制 。MPP 到 底 是 什么 ? 它 有 什么 特别 之 处 ? 

一 个 MPP 数 据 库 会 把 数据 切 分 成 不 同 的 独立 数据 块 ， 由 独立 存储 与 
CPU 资 源 进 行 管理 。 在 概念 上 ， 这 有 扩 像 把 一 些 数据 导入 您 家 里 多 台电 
脑 构成 的 网 络 中 。MPP 打 破 了 数据 被 仅 拥 有 一 个 CPU 单 元 和 磁盘 的 中 央 
服务 器 进行 管理 的 限制 。MPP 系 统 中 的 数据 被 切 分 导入 一 系列 的 服务 器 
中 ， 存 储 于 不 同 CPU 单 元 管理 的 不 同 磁盘 里 。 图 4-3 说 明了 MPP 的 原 


理 。 
| J 一 台 过 载 的 服务 器 


MPP 架构 的 数据 库 系统 将 数据 分 散在 拥有 独立 磁盘 和 CPU 的 独立 
数据 块 中 ， 而 非 一 台 过 载 的 服务 器 。 
图 4-3 海量 并 行 处 理 系 统 的 数据 存储 
为 什么 MPP 架 构 有 如 此 巨大 的 威力 ? 想象 一 下 ， 您 正在 一 条 六 车 道 
的 高 速 公路 上 开车 ， 假 如 六 车 道 变 成 一 车 道 ， 即 使 只 发 生 在 某 一 小 段 距 
离 内 ， 这 都 会 带 来 可 怕 的 交通 拥堵 。 如 果 从 出 发 地 到 目的 地 始终 都 是 六 
车 道 ， 那 么 交通 会 顺畅 得 多 。 虽 然 在 某 些 时 刻 比 如 高 峰 期 ， 拥 堵 仍 然 不 
可 避免 ， 但 也 不 会 持续 很 长 时 间 ， 这 让 公路 状况 变 好 了 很 多 。 在 非 MPP 
架构 的 数据 库 中 ， 即 使 不 是 全 过 程 ， 在 某 些 处 理 环 节 ， 也 会 出 现 六 车 道 
变 成 一 车 道 的 情况 。 在 车 流 不 多 的 情况 下 ， 一 车 道 也 没 问 题 ， 一 旦 出 现 
大 的 车 流量 就 会 出 现 问 题 。 这 就 是 MPP 架 构 处 理 海量 数据 时 无 与 伦比 的 
优势 ， 它 开放 了 更 多 车 道 让 车 辆 快速 通过 。 











让 我 们 来 看 一 个 数据 库 的 例子 。 假 如 有 一 张 1T 的 数据 表 ， 一 个 传统 
的 数据 库 在 同一 时 间 只 能 碍 询 一 行 。 如 果 是 一 个 拥有 10 个 处 理 单 元 的 
MPP 系 统 ， 它 可 以 把 这 个 1T 的 数据 表 切 分 成 10 份 ， 每 份 100GB 数 据 ， 并 
分 配给 不 同 的 处 理 单元 。 这 意味 着 在 同一 时 间 可 以 同时 查询 10 份 100GB 
的 数据 。 如 果 震 要 更 强大 的 分 析 能 力 和 更 快 的 分 析 速 度 ， 只 要 增加 更 多 
的 处 理 单元 ， 系 统 能 力 束 会 得 到 提高。 





p= 
一 个 海量 并 行 处 理 架 构 〈MPP) 的 数据 库 ， 会 把 数据 分 配给 不 同 的 CPU 单元 和 不 同 的 磁盘 空 
间 。 逻 辑 上 ， 这 类 似 于 拥有 几 十 台 甚 至 几 百 台 个 人 电脑 ， 每 台电 脑 存 储 一 部 分 数据 。 在 执行 碍 
询 时 ， 用 不 同 处 理 单元 同时 执行 的 许多 小 型 查询 蔡 代 了 一 个 单一 的 大 型 查询 ， 碍 询 速 度 自然 就 
快 了 很 多 。 
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在 这 个 数据 库 的 例子 中 ， 如 果 这 个 系统 升级 到 了 20 个 处 理 单元 ， 那 
么 就 不 是 同时 进行 10 次 100GB 的 查询 ， 而 是 同时 进行 20 次 50GB 的 碍 
询 ， 这 相当 于 100% 的 性 能 提升 。 当 查询 要 求 不 同 数据 单元 的 数据 进行 
言 息 交互 时 ， 事 情 会 更 复杂 一 些 ， 但 是 MPP 系 统 在 设计 时 就 已 经 考虑 到 
了 这 一 点 ， 因 此 可 以 非常 快速 地 处 理 这 种 情况 ， 如 图 4-4 所 示 。 
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MPP 系统 把 一 个 复杂 的 任务 分 解 成 很 多 小 任务 ， 让 不 同 CPU 单元 和 不 同 磁盘 





同时 执行 ， 而 不 是 执行 一 个 针对 所 有 数据 的 单一 任务 。 


图 4-4 传统 查询 与 MPP 查 询 的 比较 
MPP 系 统 会 制造 一 定 程度 的 数据 了 见 余 ， 同 一 份 数据 可 以 同时 存储 在 
不 同 的 地 方 ， 这 样 做 的 好 处 是 ， 一 旦 出 现 系统 故障 ， 数 据 恢复 会 非常 简 
单 。MPP 系 统 里 的 资源 管理 工具 会 管理 这 些 CPU 和 磁盘 空间 ， 碍 询 优化 
器 会 对 执行 的 查询 任务 进行 优化 ， 这 都 使 得 整个 系统 变 得 更 容易 管理 ， 
计算 效率 也 更 高 。 对 这 些 内 容 更 深度 层次 的 讨论 不 在 本 书 的 范围 内 。 


4.3.1 使 用 MPP 系 统 进行 数据 准备 与 评分 


MPP 能 够 给 复杂 分 析 带 来 巨大 提升 的 原因 是 ， 复 杂 分 析 的 主要 困难 
都 发 生 在 数据 处 理 阶段 。 在 数据 处 理 阶段 ， 人 们 要 对 数据 进行 大 量 的 连 
接 与 汇总 ， 生 成 新 的 衍生 数据 并 对 数据 进行 各 种 转换 。 在 这 个 过 程 中 ， 
来 自 不 同 数据 源 的 各 种 数据 实现 了 整合 。 连 接 在 前 面 的 革 市 已 经 介绍 过 
了 ， 而 汇总 则 意味 着 把 多 条 记录 转换 成 一 条 记录 ， 从 而 获得 更 全 面 的 信 
恩 。 例 如 ， 抽 取 客 户 的 多 条 交易 记 录 ， 计 算 客户 的 总 体 销 售 量 与 单 次 平 















































均 销 售 量 。 生 成 衍生 指标 与 数据 转换 则 包含 一 系列 的 复杂 操作 过 程 ， 如 
计算 客户 每 次 交易 的 各 类 占 比 ， 或 使 用 log 或 平方 根 等 数学 函数 以 获得 
新 的 分 析 指 标 。 

这 些 数据 处 理 任 务 的 逻辑 通常 来 说 并 不 复杂 ， 这 正 是 关系 型 数据 
库 ， 以 及 结构 化 查询 语言 〈Structured Query Language，SQL ) 适合 执行 
的 任务 。 对 大 多 数 分 析 而 言 ， 今 天 的 SQL， 即 使 不 能 文 持 所 有 也 可 以 文 
持 绝 大 部 分 的 数据 处 理工 作 。SQL 的 使 用 正 是 库 内 处 理 理念 在 MPP 系 统 
的 具体 表现 。 分 析 师 再 也 不 需要 把 数据 从 数据 库 中 抽取 出 来 并 通过 分 析 
工具 进行 处 理 ， 相 反 地 ， 他 们 可 以 简单 地 通过 撰写 并 提交 SQL 脚 本 ， 整 
可 以 把 这 些 复杂 的 数据 处 理工 作 交 给 数据 库 执行 。 

仅仅 在 10 年 前 ，SQL 还 存在 一 些 缺 陷 ， 难 以 文 持 高 级 分 析 需 要 的 某 
些 复 杂 计 算 。 但 现在 ，SQL 已 经 强大 了 许多 。 事 实 上 ，SQL 的 一 些 限 制 
条 件 已 经 不 存在 了 ， 例 如 ，SQL 在 处 理 某 一 行 数据 时 不 能 了 解 其 他 行 数 
据 。 现 在 已 经 出 现 了 一 些 叫 “窗口 式 汇集 (Windowed Aggregates) ”的 
SQL 函数 ， 它 们 可 以 在 处 理 某 一 行 数据 的 同时 ， 对 其 他 区 域 的 数据 进行 
得 询 。 通 过 这 些 SQL 函数 ， 碍 询 某 一 个 交易 是 客户 的 第 一 次 还 是 最 后 一 
次 交易 就 很 轻松 了 ， 这 使 得 数据 处 理 过 程 也 发 生 了 变化 。 某 些 高 级 分 析 
工具 为 数据 准备 过 程 提 供 的 处 理 过 程 ， 完 全 可 以 使 用 SQL 的 这 些 函 数 来 
实现 。 

在 SQL 拥有 这 个 强大 功能 之 前 ， 为 了 进行 必要 的 数据 处 理 ， 人 们 不 
得 不 把 数据 从 数据 库 中 抽取 出 来 。 往 运 的 是 ， 随 着 SQL 的 发 展 ， 已 经 不 
再 需要 这 样 做 了 。 数 据 处 理 过 程 中 的 绝 大 部 分 操作 都 可 以 通过 SQL 在 数 
据 库 内 实现 。 最 近 也 出 现 了 一 些 新 的 整合 处 理 方式 ， 我 们 将 会 在 后 面 进 
行 讨论 。 


不 要 低估 SQL ! 


在 过 去 的 这 些 年 ，SQL 已 经 强大 了 很 多 ， 现 在 它 可 以 胜任 几乎 所 有 的 数据 处 理 任务 。 分 析 专 








































































































家 可 以 使 用 SQL 或 者 其 他 分 析 工 具 把 数据 处 理 过 程 提交 给 数据 库 执 行 ， 从 而 显著 扩大 了 分 析 人 
员 可 以 处 理 的 数据 规模 ， 而 这 对 于 大 数据 格外 重要 。 


















































作为 库 内 处 理 理 念 的 发 展 趋势 ， 分 析 工 具 的 很 多 三 商 已 经 开始 在 分 
析 软 件 中 内 置 把 分 析 流 程 提交 给 数据 库 执 行 的 功能 。 在 这 些 工 具 里 ， 这 
些 分 析 流 程 都 已 经 开 及 好 了 ， 但 是 这 些 软件 现在 发 现 ， 如 有 宁可 以 连接 到 
MPP 数 据 库 引擎 ， 软 件 就 可 以 把 处 理 复杂 任务 的 指令 提交 给 数据 库 ， 让 
数据 库 来 执行 处 理 任务 ， 而 无 需 抽 取 大 量 数据 。 

分 析 工 具 将 分 析 流程 内 置 到 数据 库 中 的 演进 过 程 意味 痢 ， 分 析 专 家 
现在 可 以 目 由 地 选择 他 们 感到 顺手 的 、 有 具有 高 度 可 扩展 性 的 分 析 环 境 。 
与 此 同时 ， 分 析 应 用 仍然 在 将 更 多 的 功能 和 特性 集成 到 MPP 数 据 库 中 ， 
这 将 进一步 增加 库 内 分 析 的 影响 力 。 

库 内 处 理 也 被 广泛 的 用 于 各 种 评分 模型 。 通 第 ， 我 们 会 使 用 抽样 数 
据 来 建立 模型 ， 但 使 用 这 个 模型 来 进行 评分 ， 则 需要 针对 全 部 数据 。 例 
如 ， 通 过 部 分 抽样 的 客户 数据 建立 了 一 个 客户 购买 倾 问 的 评分 模型 ， 到 
了 应 用 这 个 模型 时 ， 则 需要 对 所 有 客户 进行 评分 ， 这 样 才 能 挑选 出 得 分 
最 高 的 客户 来 进行 营销 。 把 所 有 数据 从 数据 库 中 抽取 出 来 进行 评分 的 传 
统 做 法 ， 即 使 不 是 完全 不 可 行 ， 也 是 不 实用 的 ， 因 为 抽取 全 部 数据 进行 
处 理会 耗费 大 量 的 时 间 。 

让 我 们 看 一 个 更 细节 的 例子 。 假 如 茶 一 个 零售 丙 已 经 建立 了 一 个 倾 
问 模 型 ， 来 评估 哪些 客户 更 有 可 能 参加 茶 一 次 促销 活动 。 这 个 模型 通 种 
古 建立 在 抽样 的 客户 数据 上 ， 可 能 只 窗 盖 了 几 百 名 或 者 儿 干 名 客户 。 模 
型 会 使 用 对 比 的 方法 ， 分 析 历 史上 曾经 参加 过 类 似 活 动 的 客户 与 没有 参 
加 过 类 似 活动 的 客户 ， 进 而 建立 一 个 评分 的 算法 ， 计 算出 每 个 客户 参加 
本 次 促销 活动 的 概率 。 

在 构建 这 个 模型 时 ， 从 数据 库 中 抽取 数据 进行 外 部 处 理 ， 这 是 可 行 
的 ， 因 为 这 是 一 次 性 的 行为 ， 而 且 只 涉及 到 部 分 抽样 客户 。 当 使 用 这 个 


























模型 时 ， 评 分 算法 要 对 零售 商 的 所 有 客户 进行 打分 ， 这 样 才 能 精确 识别 
那些 最 有 可 能 啊 应 促销 活动 的 客户 ， 这 可 能 会 涉及 成 干 上 万 的 客户 。 此 
外 ， 这 个 评分 过 程 通 常 还 需要 定期 执行 。 在 这 种 情况 下 ， 由 于 涉及 所 有 
的 客户 数据 ， 把 数据 从 数据 库 中 抽取 出 来 可 能 导致 系统 崩 沉 ， 而 库 内 分 
析 则 可 以 避免 这 种 现象 的 出 现 。 

今天 在 数据 准备 与 评估 模型 过 程 中 ， 把 处 理 过 程 提 交 给 数据 库 执行 
的 方法 至 少 有 4 种 : (1) 直接 提交 SQL; (2) 自 定义 函数 (UDF) ; 
(3) 嵌入 式 过程 ;， 〈4) 预测 建 模 标记 语言 (PMML) ， 接 下 来 我 们 将 
逐个 进行 阐述 。 

1. 直接 提交 SQL 

SQL 是 MPP 系 统 的 母语 ， 在 各 种 要 求 与 场景 下 都 有 很 高 的 执行 效 
率 。 在 前 面 我 们 讨论 过 ，SQL 特 别 适 合 进行 各 种 典型 的 数据 操作 ， 如 关 
联 、 转 换 、 整 合 等 。 很 多 核心 的 数据 处 理 任 务 都 可 以 通过 编写 SQL 脚本 
来 直接 实现 ， 用 户 也 可 以 使 用 各 种 分 析 软 件 ， 让 软件 自动 生成 SQL 脚 本 
并 提交 给 数据 库 执行 。 常 用 的 分 析 模 型 与 算法 ， 其 评分 逻辑 都 不 是 很 复 
杂 ， 可 以 很 容易 地 转换 成 SQL， 如 线性 回归 模型 、 逻 辑 回 归 模 型 、 决 策 
树 模 型 等 。 分 析 工 具 可 以 帮助 用 户 从 这 些 分 析 模 型 中 抽取 出 数据 处 理 逻 
辑 与 过 程 ， 并 将 其 转换 为 SQL。 或 者 ， 有 些 时 候 ， 模 型 完成 后 用 户 也 可 
以 选择 自己 编写 SQL。 但 不 管 是 哪 种 情况 ， 数 据 准备 或 评分 过 程 都 是 全 
部 通过 SQL 完成 的 。 

2. 自 定 义 函数 (UDF) 

自 定义 函数 (User-Defined Function，UDF) 是 关系 型 数据 库 的 一 个 
相关 的 新 特性 。UDF 的 处 理 能 力 大 大 超越 了 普通 的 SQL。UDF 可 以 让 用 
户 自 定义 一 些 可 以 重复 使 用 的 数据 处 理 逻 辑 ， 并 像 SQL 自 带 函 数 一 样 自 
由 地 使 用 。 

例如 ， 要 碍 询 客户 的 销售 总 额 ， 分 析 专 家 可 能 会 写 这 样 的 SQL: 


“Select Customer, Sum(sales) ...” 




















如 果 要 查询 客户 某 一 项 属性 的 评分 ， 使 用 UDF 的 SQL 可 能 会 是 这 
样 : 

“Select Customer, Attrition Score...” 

在 这 个 SQL 语 句 里 ，“Attrition_Score” 是 一 个 已 经 被 部 署 在 关系 型 数 
据 库 内 的 自 定义 函数 。 这 个 函数 可 以 在 任何 时 候补 使 用 ， 其 内 部 包含 比 
纯 SQL 更 复杂 的 处 理 逻 辑 。 

UDF 通 常 使 用 C++ 或 Java 等 编程 语言 进行 开发 。 使 用 这 些 编程 语言 ， 
使 得 编程 语言 的 东 坚 特性 伐 入 了 SQL 中 ， 这 让 SQL 获得 了 一 些 新 的 功 
能 ， 而 这 些 功 能 通过 SQL 往往 是 无 法 实现 的 。UDEF 的 一 个 缺陷 是 ， 不 少 
分 析 专 家 并 不 了 解 如 何 使 用 这 些 编程 语言 开发 UDF， 但 笠 运 的 是 ， 很 多 
分 析 工 具 都 已 经 提供 了 自动 生成 这 些 函 数 的 功能 。 这 些 分 析 工 具 可 以 帮 
助 分 析 师 生成 合适 的 UDF， 并 将 它 部 晋 在 数据 库 里 ， 分 析 师 可 以 直接 使 
用 这 些 自 定义 函数 。 

3. 嵌入 式 过 程 

岁入 式 过 程 (Embedded Process) 是 为 一 种 把 处 理 任 务 提交 给 数据 库 
执行 的 方法 。 风 入 式 过 程 的 集成 程度 要 比 刚才 提 到 的 自 定义 函数 高 得 
多 。 目 定义 函数 是 编写 一 段 程 序 ， 并 将 其 部 蜀 在 数据 库 内 ， 让 其 他 的 
SQL 语句 能 够 随意 地 调用 它 。 对 使 用 者 来 说 ， 这 个 分 析 函 数 与 其 他 分 析 
工具 提供 的 原始 代码 没有 什么 不 同 ， 都 可 以 在 数据 库 中 并 发 地 调用 。 区 
别 在 于 ， 分析 工具 提供 的 原始 代码 通常 不 得 不 转换 为 数据 库 语 言 ， 以 提 
高 在 数据 库 内 的 人 处理 效率 。 

对 于 岁入 式 过 程 ， 情 况 就 完全 不 一 样 了 。 骨 入 式 过 程 是 将 分 析 工 具 
的 处 理 引 擎 直接 运行 在 数据 库 中 。 藤 入 式 过 程 具备 在 数据 库 内 直接 运行 
程序 的 能 力 。 磐 入 式 过 程 充分 利用 了 那些 已 经 被 部 普 在 数据 库 内 的 分 析 
程序 。 当 需要 运行 某 一 段 分 析 程 序 时 ， 为 了 利用 数据 库 的 并 行 处 理 能 
力 ， 钥 入 式 过 程 会 把 分 析 程 序 运 行 在 数据 库 的 每 一 个 处 理 单元 上 。 骨 入 
式 过 程 不 需要 转换 脚本 语言 ， 只 需要 修改 很 少 的 内 部 代码 ， 但 部 音 租 入 























式 过 程 会 比较 困难 。 各 个 分 析 软 件 与 数据 库 供 应 商 们 已 经 开始 广泛 地 研 
究 并 应 用 内 入 式 过 程 。 在 不 久 的 将 来 ， 众 入 式 过 程 将 成 为 一 种 可 选 的 处 
理 方法 。 

4. 预测 建 模 标记 语言 (PMML ) 

预测 建 模 标记 语言 (Predictive Modeling Markup “ Language， 
PMML ) ， 可 以 把 模型 结果 从 一 个 分 析 工 具 导 入 男 外 一 个 工具 中 。 从 概 
念 上 讲 ，PMML 包 集成 了 预测 模型 进行 准确 预测 所 必需 的 各 种 信息 ， 与 
模型 无 关 的 信息 则 不 包含 在 内 。 一 个 PMML 包 的 内 部 信息 通常 包括 模型 
类 型 、 变 量 名 称 、 变 量 格式 以 及 必要 的 参数 值 。- 岂 分 析 师 可 以 使 用 任 
何 兼 容 PMMEL 的 分 析 工 具 开 发 分 析 模 型 ， 当 模型 开发 完成 后 ， 如 果 要 把 
这 个 模型 部 署 到 另外 一 个 兼容 PMMEL 的 工具 内 ， 那 么 分 析 师 只 需 把 
PMML 文 件 直 接 导 入 新 的 工具 ， 新 工具 内 的 评分 模型 就 可 以 使 用 了 。 

PMML 有 一 个 不 那么 明显 的 缺点 。 要 使 用 PMML 在 新 的 工具 和 环境 
下 部 署 分 析 模 型 ， 前 提 条 件 是 这 个 新 环境 内 的 变量 名 称 和 数据 格式 ， 必 
须 和 开发 模型 的 原始 环境 中 相应 的 名 称 和 格式 完全 保持 一 致 。 例 如 ， 开 
发 某 一 个 模型 时 ， 茶 一 个 输入 变量 叫做 “SumOfSales”"， 代 表 客 户 在 某 一 
段 时 间 内 的 消费 总 额 ， 格 式 是 数值 类 型 。 那 么 ， 使 用 PMML 在 新 的 环境 
下 部 团 这 个 模型 时 ， 束 要 确保 在 新 的 环境 下 也 有 “SumOfSales” 这 个 变 
量 ， 并 且 名 称 、 含 义 、 格 式 都 完全 相同 。 这 意味 着 人 们 不 得 不 在 新 系统 
里 再 次 创建 这 个 变量 。 

最 初 ， 很 多 分 析 专 家 认为 ， 在 开发 模型 时 使 用 PMML， 意 味 着 他 们 
不 需要 去 考虑 库 内 处 理 的 问题 。 他 们 认为 ， 使 用 分 析 工 具 开 发 好 了 模 
型 ， 利 用 PMML 就 可 以 轻松 地 把 模型 部 团 到 关系 型 数据 库 内 了 。 这 种 想 
法 是 错误 的 ，PMML 要 求 不 同 环境 下 的 数据 变量 完全 一 致 ， 但 事实 上 这 
不 太 可 能 出 现 。 因 此 ， 在 利用 PMML 部 署 模 型 前 ， 如 果 分 析 师 在 数据 库 
之 外 对 数据 进行 了 一 些 处 理 和 转换 ， 那 么 这 些 操 作 必 须 在 数据 库 内 完整 
地 重复 执行 一 过 。PMML 并 不 负 贡 任何 数据 准备 的 工作 ， 它 只 是 把 同样 














的 算法 直接 应 用 于 最 终 数 据 ， 而 PMML 假 定 这 些 数据 都 已 经 被 处 理 过 
于 





不 要 错误 地 理解 PMML 
PMML 的 确 强 化 了 在 数据 库 内 进行 数据 准备 的 必要 性 与 好 处 。 如 果 分 析 工 具 在 数据 库 外 部 进 
行 了 任何 形式 的 数据 处 理 ， 这 些 过程 必 须 在 数据 库 内 重复 执行 一 这， 以 确保 PMML 能 正常 工 
作 。 为 什么 要 在 2 个 环境 中 重复 地 执行 数据 处 理 过 程 呢 ? 还 是 直接 在 数据 库 里 执行 吧 。 
















































































PMML 确 实 强化 了 库 内 处 理 的 必要 性 。 为 了 确保 PMML 高效 地 工 
作 ， 建 模 所 需 的 输入 数据 必须 提前 准备 好 。 这 些 数据 不 能 有 任何 变化 ， 
分 析 算 法 必须 能 够 直接 使 用 。 只 有 这 样 ，PMML 生 成 的 模型 评分 代码 才 
能 立刻 开始 工作 ， 人 否则 融 需 要 在 部 闭环 境 下 进行 数据 的 重新 组 织 与 二 次 
处 理 。 

新 版 的 PMML 已 经 开始 具备 部 分 特定 的 数据 处 理 能 力 ， 但 要 彻 拆 弥 
补 我 们 提 到 的 这 个 缺陷 ，PMML 还 有 很 长 的 路 要 走 ， 这 也 限制 了 PMML 
的 应 用 范围 。 


4.3.2 ”使 用 MPP 系 统 进行 数据 准备 与 评分 小 结 


海量 并 行 处 理 平台 (MPP)〉 是 当代 数据 分 析 架 构 中 价值 很 蜗 且 越 来 
越 重 要 的 一 种 方法 。 今 天 ， 大 部 分 大 型 企业 都 已 经 建立 了 企业 级 的 数据 
仓库 ， 对 企业 内 大 量 的 重要 数据 进行 集中 窟 理 ， 而 小 型 企业 则 通常 选择 
建立 各 种 数据 集 市 。 越 来 越 多 的 数据 处 理 过 程 将 在 数据 仓库 内 进行 ， 这 
种 趋势 将 会 长 期 地 持续 下 去 。 

任何 希望 提高 自身 分 析 能 力 的 公司 ， 都 必须 了 解 并 使 用 MPP。 在 数 
据 规 模 持 续 增长 的 今天 ， 为 了 进行 菜 项 分 析 ， 除 非 完全 不 可 避免 ， 我 们 
都 不 应 该 把 数据 从 仓库 中 抽取 出 来 。 使 用 MPP 可 以 给 企业 带 来 分 析 可 扩 
展 性 的 额外 提升 ， 扩 大 可 分 析 数 据 的 广度 与 规模 。 不 管 是 传统 数据 、 大 





数据 还 是 这 两 类 数据 的 混合 体 ， 均 可 以 使 用 这 种 处 理 方法 。 

在 我 们 结束 这 一 小 节 前 ， 还 要 讨论 最 后 一 个 主题 。 当 企业 级 数据 仓 
库 已 经 成 为 分 析 环 境 的 核心 主题 时 ， 许 多 MPP 系 统 供应 商 也 开始 提供 比 
数据 仓库 性 能 略 低 的 “一 体 机 平台 ”系统 。 这 些 一 体 机 平台 系统 是 为 菜 一 
些 特 定 目的 而 设计 的 ， 例 如 ， 高 级 分 析 团 队 和 希望 对 海量 数据 进行 复杂 的 
处 理 。 区 别 在 于 ， 企 业 级 数据 仓库 能 文 持 许多 不 同类 型 的 数据 管理 工 
作 ， 而 这 些 一 体 机 平台 只 能 文 持 菜 一 种 或 特定 的 几 种 数据 管理 工作 。 

高 级 分 析 也 是 分 析 系 统 承 担 的 一 项 工作 ， 而 且 是 很 重要 的 一 项 工 
作 。 当 计划 使 用 企业 级 数据 仓库 文 持 高 级 分 析 时 ， 要 确保 数据 仓库 也 能 
同时 完成 其 承担 的 其 他 工作 ， 如 报表 或 查询 等 ， 通 第 所 有 这 些 工作 都 在 
数据 仓库 中 同时 进行 。 如 果 数 据 仓库 实现 不 了 ， 可 以 考虑 部 署 独立 的 一 
体 机 平台 系统 。 这 些 独立 的 一 体 机 平台 系统 的 价格 是 可 以 接受 的 ， 并 且 
如 循 与 MPP 染 构 一 样 的 设计 原则 。 


4.4 云 计 算 











最 近 云 计算 的 概念 得 到 了 越 来 越 多 的 关注 。 就 像 很 多 的 其 他 热门 技 
术 一 样 ， 云 计算 也 曾 被 大 肆 地 炒作 。 在 详细 论述 前 ， 我 们 必须 先 定 义 什 
么 是 云 计算 ， 它 是 如 何 帮助 高 级 分 析 与 大 数据 分 析 的 。 跟 所 有 的 新 技术 

样 ， 云 计算 也 存在 不 少 互 相 冲 突 的 定义 ， 我 们 会 讨论 其 中 的 两 种 定 
义 ， 作 为 进一步 论述 的 基础 。 第 一 种 定义 是 麦肯锡 公司 在 2009 年 的 某 一 
份 报告 中 提出 的 。 瑟 站 这 篇 报告 认为 云 环境 有 以 下 3 个 最 重要 的 特征 。 

1. 企业 无 需 进行 基础 设施 建设 ， 没 有 固定 资本 的 支出 ， 有 的 只 是 运 
营 成 本 。 这 些 运营 成 本 是 根据 使 用 量 付费 的 ， 并 没有 合同 对 这 些 运营 成 
本 的 金额 进行 限制 或 要 求 。 

2. 系统 能 力 可 以 在 很 短 的 时 间 内 显著 地 扩大 或 缩小 。 而 传统 的 IT 托 
管 服务 提供 商 存 在 系统 扩展 性 的 限制 ， 无 法 做 到 这 一 点 。 这 也 是 云 计算 

















与 传统 托管 服务 的 区 别 。 

3. 云 计 算 的 底层 便 件 可 以 在 地 理 意义 上 的 任何 地 方 。 这 些 人 硬件 设施 
对 于 最 终 用 户 来 说 是 抽象 的 、 透 明 的 。 而 且 ， 这 些 便 件 的 租用 模式 是 多 
样 化 的 ， 某 一 硬件 设备 可 以 在 同一 时 间 和 被 不 同 公司 的 不 同 用 户 使 用 。 

只 有 同时 满足 这 3 个 条 件 ， 才 能 将 其 称 之 为 真正 的 云 计算 。 对 用 户 而 
言 ， 确 层 便 件 是 未 知 的 、 变 化 的 ， 可 以 根据 需求 弹性 地 调整 系统 能 
还 可 以 按 用 户 的 使 用 量 进行 计 费 。 


你 要 我 跳 多 高 ? 

云 计 算 彻 底 地 解决 了 资源 的 约束 问题 。 用 户 在 需要 的 时 候 可 以 获得 任何 想 要 的 系统 资源 。 当 
然 ， 他 们 要 为 此 付费 ， 但 他 们 只 为 自己 的 使 用 付费 。 系 统管 理 人 员 对 资源 的 争夺 再 也 不 存在 
了 。 当 你 要 求 云 计 算 跳 起 来 ， 它 不 会 和 你 争论 是 否 应 该 跳 ， 而 是 直接 问 你 , “你 要 我 跳 多 高 ? ” 
























































另外 一 个 定义 来 自 于 美国 国家 标准 技术 研究 所 〈National Institute of 
Standards and Technology，NIST) ， 这 是 美国 政府 商务 部 的 一 个 分 文 机 
构 。 它 列 出 了 云 环境 的 5 个 必要 特性 。 王 江 
. 按 需 的 目 助 服务 。 
， 高 速 网 络 接 入 。 
.资源 池 。 
. 快速 的 系统 弹性 。 
.可 以 衡量 的 服务 。 

同时 满足 这 5 个 特性 的 才 是 云 计 算 。 很 容易 就 能 发 现 ， 麦 肯 锡 的 定义 
与 NIST 的 定义 有 很 多 相似 之 处 。 你 可 以 在 NIST 的 网 站 获取 更 多 云 计 算 
领域 的 相关 信息 。 一 4 

任何 事情 都 有 好 的 一 面 和 坏 的 一 面 ， 有 强项 与 弱项 ， 有 优点 与 缺 
点 ， 云 计算 也 一 样 。 一 个 组 织 要 了 解 足够 多 的 信息 以 做 出 正确 的 选择 。 
毋庸 置疑 ， 未 来 在 高 级 分 析 领 域 ， 云 计算 将 得 到 越 来 越 广泛 的 应 用 ， 开 
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发 类 的 工作 更 是 如 此 。 但 随后 我 们 也 将 看 到 ， 对 于 生产 性 的 工作 ， 云 计 
算 的 应 用 方式 还 不 是 非常 清晰 。 我 们 将 讨论 2 种 不 同类 型 的 云 : (1) 公 
有 云 ; (2) 私有 云 。 


4.4.1 公有 云 





公有 云 已 经 获得 了 相当 多 的 宣传 与 关注 。 对 公有 云 的 用 户 来 说 ， 他 
们 将 自己 的 数据 上 传 至 外 部 的 菜 一 云 计算 系统 中 ， 获 得 系统 所 分 配 的 资 
源 以 进行 数据 处 理工 作 ， 最 后 系统 会 根据 用 户 的 使 用 量 向 他 们 收取 相应 
的 费用 。 

这 种 模式 很 显然 有 许多 优点 。 

qm ”网络 接 入 是 必要 的 ， 用 户 只 为 他 们 的 使 用 而 付费 。 

m 用户 不 再 需要 去 构建 一 个 能 满足 其 最 大 资源 需求 的 系统 ， 然 后 承 
担 大 部 分 时 间 系 统 资源 闲置 的 风险 。 

m ”如果 有 突 发 性 的 任务 处 理 需求 ， 在 公有 云 环 境 下 ， 用 户 可 以 很 快 
地 得 到 新 的 系统 资源 ， 用 户 只 需要 为 这 些 新 资源 付费 即 可 。 

m ”系统 部 署 通常 来 说 很 快 。 只 要 可 以 连接 到 公有 云 环 境 ， 用 户 上 伟 
了 自己 的 数据 ， 立 刻 就 可 以 开始 分 析 工作 。 

m ”根据 公有 云 的 定义 ， 数 据 是 保存 在 企业 内 部 防火 墙 之 外 的 系统 
中 ， 这 让 不 同 区 域 之 间 的 数据 共享 变 得 相当 简单 ， 任 何人 都 可 以 被 授予 
登录 系统 并 使 用 这 些 数据 的 权限 。 

同时 ， 公 有 云 也 存在 一 些 缺陷 。 

四 ”通常 来 说 ， 公 有 云 不 会 提供 性 能 方面 的 承诺 。 根 据 公 有 云 的 定 
义 ， 在 同一 时 间 可 以 有 很 多 人 对 同一 份 数据 或 资源 发 起 一 系列 的 大 型 查 
询 。 当 然 ， 您 也 可 以 购买 一 台 只 供 您 自己 使 用 的 云 服务 器 。 

m ”这 会 带 来 性 能 方面 巨大 的 不 确定 性 。 一 旦 提交 了 一 项 处 理 任务 ， 
系统 能 在 多 长 时 间 内 完成 是 不 确定 的 。 历 史 的 经 验 可 以 作为 判断 依据 ， 

















但 并 不 能 保证 这 一 次 会 一 样 。 

四 ”对 数据 安全 性 的 担忧 一 直 存 在 。 虽 然 很 多 人 可 能 认为 这 种 担心 没 
有 必要 ， 因 为 这 只 具有 理论 上 的 可 能 性 ， 但 人 们 对 数据 安全 性 的 认识 本 
身 就 是 一 个 大 问题 。 

四 如果 被 广泛 地 使 用 ， 公 有 云 可 以 变 得 非常 昂贵 ， 因 为 它 会 对 每 一 
个 用 户 的 所 有 使 用 行为 进行 收费 。 效 率 不 高 的 “ 坏 ” 但 询 可 能 会 耗费 大 量 
的 系统 资源 ， 而 现在 这 些 “ 坏 ”得 询 在 你 自己 的 系统 里 也 会 出 现 ， 但 不 会 
市 来 任何 直接 的 实际 成 本 ， 而 在 公有 云 环 境 下 ， 你 却 可 能 因此 被 收取 一 
大 笔 费用 。 

四 如果 需要 对 数据 进行 持续 跟踪 ， 并 对 数据 的 保存 地 域 有 明确 的 要 
求 ， 那 么 就 无 法 使 用 公有 云 。 在 公有 云 环 境 下 ， 你 甚 全 无 法 确定 数据 是 
不 是 还 全 部 保存 在 本 国 范围 内 。 

通过 上 面 的 分 析 ， 你 认为 公有 云 适 合 哪些 场景 ? 哪些 场景 不 适合 使 
用 公有 云 ? 

云 计算 的 人 硬件 资源 是 弹性 的 ， 这 意味 着 在 任何 时 间 都 可 以 很 容易 地 
增加 新 的 硬件 资源 。 这 也 意味 痢 可 以 很 容易 地 在 茶 一 台 服 务 器 上 增加 更 
多 的 CPU、 和 存储 与 内 存 ， 然 后 获得 更 多 的 计算 能 力 。 在 任何 时 候 ， 你 也 
可 以 直接 使 用 10 台 或 更 多 的 服务 器 ， 只 要 你 为 此 付费 。 请 注意 ， 这 种 扩 
展 性 与 MPP 系 统 的 扩展 性 是 不 同 的 。 公 有 云 的 大 部 分 服务 器 是 各 自 独 立 
运行 的 ，MPP 则 是 一 个 单一 的 大 系统 。 如 末 一 个 企业 有 许多 中 小 型 的 处 
理 过 程 和 任务 ， 云 计算 将 可 以 发 挥 巨大 的 作用 。 然 和 而， 假如 有 一 些 超大 
型 任务 ， 且 每 个 任务 都 超过 了 单个 云 计 算 服 务 器 的 处 理 极限 ， 这 时 云 计 
算 就 没什么 用 了 。 虽 然 MPP 软 件 可 以 在 云 内 运行 ， 但 云 环境 下 的 底层 硬 
件 设备 是 不 确定 的 ， 可 能 随时 发 生变 化 ， 这 对 MPP 软 件 的 处 理性 能 有 非 
常 不 利 的 影响 。 

也 许 ， 对 公有 云 来 说 ， 最 适合 的 使 用 方式 是 纯粹 的 研发 类 工作 。 在 
这 种 情况 下 ， 系 统 性 能 的 不 确定 性 变 得 没 那 么 重要 。 如 果 一 个 分 析 专 家 
































想 对 东 些 新 的 数据 进行 实验 性 地 探索 研究 ， 和 希望 发 现 这 些 数据 的 价值 ， 
公有 云 则 是 一 个 非常 好 的 选择 。 分 析 专 家 可 以 把 大 部 分 的 时 间 放 在 分 
析 、 探 索 等 工作 上 ， 而 不 需要 考虑 性 能 的 问题 。 只 有 在 准备 进行 分 析 流 
程 的 部 车 时 ， 系 统 性 能 才 会 变 成 一 个 关键 问题 。 对 于 那些 不 是 非常 重要 
的 分 析 流 程 ， 甚 至 菏 些 流程 的 部 警 工 作 ， 公 有 云 都 是 一 个 可 行 的 长 期 选 
| 

当 数 据 安全 是 一 个 大 问题 时 ， 公 有 云 也 将 厅 烦 重 午 。 有 必要 为 公有 
云 应 用 好 的 安全 协议 和 工具 ， 并 保证 公有 云 环 境 的 高 度 安全 性 。 唯 一 不 
在 你 控制 范围 的 是 ， 云 服务 提供 商 企业 中 的 员工 。 如 果 他 们 是 茶 种 程度 
上 的 小 偷 或 者 黑客 ， 他 们 将 会 对 使 用 公有 云 的 企业 造成 损害 。 这 样 的 事 
情 发 生 的 概率 极 低 ， 但 是 安全 漏洞 造成 的 公众 抗议 将 更 加 严重 ， 尤 其 是 
造成 安全 漏洞 的 是 云 服务 提供 商 企 业 的 员工 而 不 是 使 用 该 服务 的 企业 的 
员工 时 。 将 敏感 的 数据 放 到 云 上 需要 制定 一 个 强大 的 安全 计划 ， 人 否则 ， 
永远 不 要 这 么 做 ! 


你 确定 省 钱 了 吗 

如 果 分 析 专 家 只 考虑 自己 一 个 人 ， 那 么 使 用 公有 云 确实 要 比 购买 一 套 专用 设备 便宜 得 多 。 但 
涉及 大 型 企业 ， 情 况 可 能 会 发 生变 化 。 一 旦 许多 不 同 的 人 和 部 门 都 开始 使 用 云 ， 也 许 人 们 很 快 
就 会 发 现 ， 他 们 为 公有 云 的 每 次 使 用 文 付 了 更 多 的 钱 ， 远 远 超 过 了 建立 一 个 自己 的 专 有 系统 。 



















































































关于 公有 云 还 有 男 外 一 个 常常 被 忽视 的 有 趣 现象 。 如 果 只 有 小 部 分 
任务 需要 被 执行 ， 使 用 公有 云 确实 要 比 购买 一 个 专 有 系统 便宜 。 但 在 某 
些 时 候 ， 使 用 公有 云 也 可 以 比 拥有 一 个 专 有 的 内 部 系统 昂贵 。 一 旦 企业 
有 大 量 的 用 户 开始 使 用 公有 云 ， 且 他 们 都 按照 每 次 的 使 用 量 进行 计 费 ， 
那么 购买 一 个 企业 自用 系统 反而 会 便宜 得 多 。 比 节约 成 本 更 重要 的 是 ， 
公司 可 以 对 这 些 内 部 系统 进行 全 面 地 管理 控制 ， 进 而 提升 这 个 系统 的 性 


全 已 
有 Co 








随 者 时 间 推 移 ， 也 许 某 一 天 ， 公 有 云 可 以 以 茶 一 个 合适 的 价格 为 企 
业 级 的 关键 任务 功能 提供 服务 。 但 在 今天 ， 那 些 提 供 更 高 等 级 性 能 保证 
的 云 计算 供应 商 ， 它 们 会 为 这 些 更 高 品质 的 服务 向 用 户 收 取 比 基本 云 服 
务 昂贵 很 多 的 费用 。 此 外 ， 不 管 是 事实 还 是 一 相 情愿 ， 云 计算 确实 有 可 
能 满足 某 些 安全 性 的 要 求 。 但 在 这 些 变 成 现实 之 前 ， 大 部 分 企业 使 用 公 
有 云 的 范围 ， 只 可 能 集中 在 研发 类 的 工作 上 。 





4.4.2 ”私有 云 





私有 云 拥有 与 公有 云 完 全 相同 的 特征 。 唯 一 的 区 别 是 ， 私 有 云 是 茶 
一 企业 拥有 的 ， 且 通常 部 署 在 企业 的 防火 寺内 部 。 私 有 云 提供 与 公有 云 
完全 一 样 的 服务 ， 但 是 服务 对 象 仅 限于 企业 的 内 部 人 员 和 团队 。 图 4-5 
说 明了 公有 云 与 私有 云 的 区 别 。 








图 4-5 公有 云 与 私有 云 的 比较 











部 车 在 企业 内 部 的 私有 云 有 一 个 巨大 的 优势 ， 就 是 企业 拥有 对 这 个 
系统 的 全 部 控制 能 力 ， 包 括 数据 与 系统 的 安全 。 数 据 是 无 法 跳出 企业 防 
火 墙 的 ， 所 以 企业 完全 没有 必要 去 担心 数据 到 底 在 什么 地 方 。 私 有 云 的 


数据 安全 性 与 其 他 的 企业 内 部 系统 是 完全 一 样 的 。 

私有 云 的 一 个 缺陷 是 ， 当 你 为 用 户 提供 服务 前 ， 你 必须 购买 并 拥有 
一 整套 的 云 计 算 设 备 ， 这 在 短期 内 可 能 会 给 公司 的 成 本 文 出 带 来 不 利 的 
影响 。 与 公有 云 相 比 ， 公 司 在 第 一 年 花费 的 钱 可 能 一 下 子 增长 了 很 多 ， 
但 是 随后 的 那些 年 ， 假 如 公司 的 大 部 分 任务 都 在 云 内 进行 ， 私 有 云 的 成 
本 反而 会 比较 低 。 长 期 来 看 ， 如 果 有 大 量 的 用 户 持续 使 用 云 环 境 提 供 的 
服务 ， 私 有 云 的 成 本 会 比 公有 云 低 得 多 。 


长 期 成 本 与 短期 成 本 

长 期 来 看 ， 如 果 有 大 量 用 户 ， 私 有 云 的 成 本 会 比 公有 云 低 得 多 。 然 而 ， 由 于 需要 启动 资金 与 
建设 成 本 ， 实 施 私有 云 在 短期 内 可 能 会 给 企业 带 来 更 高 的 费用 支出 。 随 着 时 间 推移 ， 这 种 情况 
就 会 逆转 过 来 。 





































































































在 概念 上 ， 私 有 云 与 我 们 将 在 第 5 章 中 讨论 的 分 析 沙 箱 没有 很 大 的 差 
异 。 两 者 的 主要 区 别 在 于 ， 一 个 真正 的 私有 云 会 为 用 户 提供 充分 的 自助 
服务 功能 ， 而 分 析 沙 箱 则 要 求 系统 具有 更 强 的 管理 能 力 。 这 两 个 概念 的 
确 有 些 相 近 ， 在 茶 些 使 用 方面 甚至 是 相同 的 。 对 于 支持 局 级 分 析 ， 可 以 
说 两 者 或 多 或 少 是 在 做 同一 件 事情 。 其 中 一 个 区 别 是 ， 如 果 使 用 私有 
云 ， 并 完全 遵循 云 的 规则 与 定义 ， 系 统 负载 会 持续 动态 地 发 生变 化 ， 这 
可 能 会 给 系统 管理 带 来 不 小 的 抹 烦 ， 用 户 可 能 不 得 不 互相 争夺 资源 。 而 
在 分 析 沙 箱 的 环境 中 ， 当 需要 资源 时 ， 系 统 可 以 为 团队 分 配 一 些 确定 的 
系统 资源 。 系 统 资 源 确定 的 对 立 面 是 ， 如 果 你 想得到 额外 的 新 资源 ， 分 
析 沙 箱 的 用 户 要 付出 比 私有 云 用 户 更 多 的 努力 。 

















4.4.3 ” 云 计 算 小 结 





这 些 日 子 云 计算 获得 了 很 多 的 关注 ， 也 被 大 肆 地 炒作 ， 但 云 计 算 的 
架构 体系 确实 有 很 多 的 之 点 。 和 其 他 新 事物 一 样 ， 企 业 必 须 理解 不 同 的 





云 的 使 用 方式 ， 以 及 不 同 使 用 方式 的 优 缺 点 。 

在 近期 和 中 期 ， 公 有 云 将 主要 用 于 那些 数据 不 太 敏 感 的 开发 任务 。 
私有 云 ， 以 及 私有 云 的 挛 生 兄弟 分 析 沙 箱 ， 都 将 得 到 越 来 越 广泛 的 应 
用 ， 并 对 各 种 类 型 的 分 析 工 作 产 生 巨 大 的 影响 。 

一 个 基础 观点 是 ， 在 企业 内 建立 一 个 更 加 灵活 、 结 构 多 变 、 控 制 更 
少 的 分 析 环 境 ， 以 支持 各 种 研究 、 创 新 与 探索 性 工作 ， 这 是 完全 正确 
的 ， 而 云 计 算 恰 恰 束 能 提供 这 样 的 环境 。 


4.5 网 格 计算 


某 些 计算 过 程 与 算法 无 法 全 部 转换 成 SQL， 或 者 难以 庶 入 数据 库 的 
某 个 自 定义 函数 中 。 在 这 种 情况 下 ， 必 须要 把 数据 从 传统 的 分 析 环 境 中 
抽取 出 来 ， 然 后 用 传统 的 分 析 工 具 和 软件 进行 分 析 。 在 很 长 的 一 段 时 间 
里 ， 为 了 完成 这 个 艰巨 的 任务 ， 人 们 常 使 用 一 些 大 型 服务 嚣 。 问 题 是 ， 
随 痢 分 析 师 越 来 越 多 ， 以 及 分 析 任 务 越 来 越 楷 重 ， 人 们 不 得 不 对 这 些 服 
务 需 进行 扩容 ， 或 者 增加 更 多 的 服务 器 ， 而 这 些 都 是 相当 昂 贯 的 。 即 使 
这 样 ， 分 析 师 还 是 经 党 把 所 有 可 用 资源 全 部 用 完 。 

网 格 配 置 可 以 降低 系统 成 本 并 提高 性 能 。 网 格 计 算 通 党 属于 一 种 “高 
性 能 计算 环境 "。 网 格 计算 会 使 用 大 量 的 低 成 本 计算 机 ， 而 不 是 一 台 或 
几 合 高 性 能 的 服务 器 。 网 格 计算 不 使 用 一 台大 型 服务 器 来 管理 执行 不 同 
任务 的 CPU 和 资源 ， 相 反 地 ， 不 同 任务 被 独立 地 分 配给 不 同 的 计算 机 ， 
并 让 每 一 台 计 算 机 并 发 执行 。 每 一 侣 计算 机 也 许 都 会 承担 原 有 服务 器 的 
茶 一 部 分 任务 ， 同 一 时 间 一 台 计 算 机 通常 只 能 执行 一 项 任务 。 总 体 来 
看 ， 网 格 计 算 可 以 承担 相当 多 的 工作 。 因 此 ， 网 格 计算 这 种 系统 机 制 在 
提升 系统 性 能 和 容量 的 同时 ， 可 以 显著 地 降低 系统 的 总 体 成 本 。 同 时 ， 
网 格 计算 还 可 以 帮助 企业 平衡 系统 负载 ， 管 理 任务 的 优先 级 ， 并 为 分 析 
任务 提供 更 高 的 可 用 性 。 








使 用 网 格 计算 架构 ， 分 析 专 家 可 以 在 保持 低 价 与 高 性 能 的 同时 ， 提 
升 分 析 系 统 的 可 扩展 性 。 当 然 ， 网 格 计 算 并 不 适合 所 有 的 场景 。 网 格 计 
算 可 能 并 不 适合 同时 执行 很 多 非常 紧急 的 任务 。 因 为 每 项 任务 都 是 由 一 
台 计 算 机 独立 完成 的 ， 如 果 同 时 有 许多 的 超大 型 任务 ， 网 格 计算 环境 下 
低 成 本 计算 机 的 表现 将 低 于 一 人 台大 型 服务 器 。 但 是 ， 假 如 一 个 大 型 企业 
内 有 很 多 的 任务 需要 执行 ， 而 且 大 部 分 任务 都 是 中 小 型 的 ， 那 么 使 用 网 
格 计算 环境 将 带 来 极 大 的 提升 。 

网 格 计 算 还 有 一 个 刚 出 现 不 久 的 创新 ， 即 局 性 能 的 分 析 染 构 。 在 这 
个 创新 架构 中 ， 网 格 计算 环境 下 的 不 同 计算 机 都 知道 其 他 计算 机 的 存 
在 ， 并 且 不 同 计算 机 可 以 共享 信息 。 这 种 协作 方式 ， 在 同一 时 间 充 分 使 
用 了 网 格 计算 环境 下 的 所 有 计算 资源 ， 使 得 茶 些 大 型 任务 可 以 更 快 地 完 
成 。 这 解决 了 我 们 之 前 提 到 的 网 格 计算 缺陷 ， 即 网 格 计算 环境 下 每 台独 
并 的 计算 机 只 能 承担 一 定 复 哥 度 的 任务 。 这 种 新 的 网 格 计算 技术 被 越 来 
越 多 的 人 所 接受 ， 前 景 一 片 光 明 。 在 本 书 的 写作 过 程 中 ， 还 出 现 了 一 种 
更 新 络 的 创新 技术 ， 它 让 网 格 环境 直接 连接 到 某 一 个 数据 库 系 统 ， 使 网 
格 的 系统 性 能 得 到 进一步 的 提升 。SAS 公 司 的 高 性 能 分 析 解 决 方案 就 是 
这 样 的 一 个 实例 。 

建 模 的 理念 与 方法 一 直 都 在 发 展 和 进步 ， 我 们 将 在 第 6 章 中 讨论 的 简 
易 建 模 方 法 也 获得 了 越 来 越 广泛 的 使 用 ， 网 格 计算 可 以 成 为 一 种 处 理 额 
外 建 模 工作 负载 的 有 效 方法 。 











4.6 MapReduce 





MapReduce 是 一 种 并 行 的 编程 架构 。 它 不 是 数据 库 ， 更 不 是 数据 库 
的 竞争 对 手 。 有 人 宣称 ，MapReduce 将 取代 数据 库 以 及 天 底下 的 任何 事 
物 。 事 实 上 ，MapReduce 是 对 现 有 技术 的 补充 。 很 多 MapReduce 能 干 的 
事情 ， 关 系 型 数据 库 也 可 以 完成 。 归 根 到 底 人 们 需要 确定 哪个 环境 更 适 





合 解决 手头 上 的 问题 。 某 个 工具 或 技术 可 以 执行 某 个 任务 ， 并 不 代表 它 
是 执行 这 个 任务 的 最 佳 选 择 。 我 们 不 应 该 纠结 于 理论 上 MapReduce 可 以 
做 什么 ， 而 应 该 专注 于 它 最 适合 做 什么 ， 这 样 才 可 能 将 使 用 MapReduce 
的 利益 最 大 化 。 

MapReduce 里 程序 员 们 内 置 了 两 个 主要 的 处 理 过 程 : 映射 过 
程 “map” 以 及 归纳 过 程 “reduce”。 这 就 是 MapReduce 名 字 的 来 源 。 
MapReduce 会 在 一 系列 的 工作 结 点 上 并 发 执行 这 些 处 理 过 程 。 这 让 我 们 
联想 起 了 MPP 架 构 的 数据 库 系 统 ， 数 据 被 分 配 到 不 同 节点 以 进行 快速 得 
询 。 类 似 于 MPP 系 统 ，MapReduce 也 会 把 数据 分 配 到 不 同 通 用 设备 上 运 
行 处 理 。 每 一 个 MapReduce 市 点 都 会 使 用 同样 的 代码 对 自己 管理 的 那 部 
分 数据 进行 处 理 。 区 别 在 于 ，MapReduce 里 的 节点 之 间 不 会 发 生 信 息 交 
互 ， 甚 至 不 知道 彼此 的 存在 。 

假如 系统 有 一 个 巨大 且 持 续 的 网 站 日 志 数 据 流 ， 这 个 数据 法 必须 按 
块 分 割 ， 然 后 分 配 到 不 同 的 节点 上 。 当 数据 流 持 续 不 断 地 进入 系统 时 ， 
一 个 处 理 这 些 数 据 的 简单 方法 就 是 建立 一 个 循环 运行 的 程序 ， 或 者 茶 种 
形式 的 散 列 〈hashing) 。 在 这 种 情况 下 ， 数 据 在 分 配 至 不 同 节 点 前 ， 要 
经 过 一 些 数学 公式 的 加 工 处 理 ， 以 确保 相似 的 数据 能 分 配 到 同一 个 节点 
上 。 例 如 ， 对 顾客 ID 进行 散 列 处 理 ， 束 能 把 某 一 个 顾客 的 所 有 记录 全 部 
分 配 到 同一 个 节点 上 。 如 果 计 划 使 用 顾客 ID 进行 分 析 ， 这 人 么 处 理 就 非常 
重要 。 

Mapreduce.org 网 站 把 MapReduce 定 义 为 Google 发 明 并 推广 的 一 种 编 
程 框架 。 这 个 框架 最 初 用 于 简化 超大 数据 集 的 处 理 任务 。Hadoop 古 
MapReduce 一 种 流行 的 开源 版 本 ， 开 发 者 是 Apache 团 队 。Hadoop 是 最 出 
名 的 MapReduce 实 施 版 本 。 在 这 一 节 里 ， 我 们 会 专注 于 MapReduce 的 通 
用 概念 ， 这 些 概念 适用 于 你 所 使 用 的 任何 MapReduce 实 施 版 本 。 

今天 的 企业 已 经 发 现 ， 对 持续 生成 的 海量 数据 进行 快速 分 析 以 支持 
科学 决策 是 非常 重要 的 。MapReduce 是 帮助 企业 管理 半 结 构 化 或 非 结 构 




















化 数据 的 一 种 工具 ， 而 这 些 数据 使 用 传统 的 技术 和 工具 是 很 难 进行 分 析 
的 。 大 多 数 企 业 在 使 用 数据 库 管 理 关 系 型 数据 之 外 ， 也 在 使 用 各 种 方式 
处 理 其 他 类 型 的 数据 ， 包 括 文本 以 及 机 器 上 自动 生成 的 各 种 数据 ， 如 网 络 
日 志 、 传 感 器 数据 、 图 像 等 。 为 了 获得 有 意义 的 局 示 ， 企 业 必 须 快速 并 
高 效 地 处 理 各 种 类 型 的 数据 。 在 MapReduce 环 境 下 ， 计 算 过 程 直 接 发 生 
在 存储 数据 的 文件 系统 中 ， 而 无 需 首 先 把 这 些 数据 导入 数据 库 。 这 是 一 
项 极为 重要 的 特性 ， 我 们 随后 会 进行 详细 阐述 。 

MapReduce 环 境 的 一 个 突出 特点 是 处 理 各 种 非 结 构 化 文本 的 能 
在 关系 型 数据 库 中 ， 所 有 数据 都 存储 在 数据 表 以 及 数据 表 里 的 行 与 列 
中 。 数 据 内 部 的 关系 已 经 被 清晰 地 定义 ， 而 原始 数据 往往 不 是 这 样 。 这 
就 是 MapReduce 可 以 发 挥 威力 的 地 方 。 我 们 确实 可 以 把 大 段 的 文本 导入 
数据 库 内 作为 一 个 二 进 制 对 象 字段 ， 但 这 并 不 是 处 理 这 类 数据 的 最 佳 方 
案 。 这 种 情况 下 应 该 考虑 使 用 MapReduce。 














4.6.1 MapReduce 工 作 原 理 


假设 在 某 个 项 目 中 我 们 有 20T 的 数据 ， 以 及 20 台 MapReduce 服 务 器 。 

站 和 完 ， 通 过 简单 的 文件 复制 过 程 将 数据 均匀 分 布 到 20 台 服务 器 中 ， 
每 一 台 服 务 器 拥有 1T 的 数据 。 注 意 ， 数 据 分 布 发 生 在 MapReduce 对 数据 
进行 处 理 之 前 。 还 需 注意 的 是 ， 数 据 是 以 某 种 用 户 选择 的 文件 格式 保 
存 ， 而 不 是 关系 型 数据 库 那样 的 标准 格式 。 

然后 ， 程 序 员 提交 了 2 个 程序 给 调度 程序 。 第 一 个 是 映射 Map) 程 
序 ， 男 外 一 个 是 归纳 (Reduce) 程序 。 在 这 两 阶段 的 处 理 过 程 中 ， 了 映射 
程序 寻找 人 磁盘 上 的 数据 ， 并 执行 内 部 的 处 理 逻 辑 ， 其 在 这 20 台 服务 器 上 
彼此 独立 运行 ， 所 有 处 理 结果 将 交 给 归纳 程序 进行 汇总 处 理 ， 以 获得 最 
终 的 结果 。 图 4-6 说 明了 这 个 处 理 流程 。 








MapReduce 把 一 个 任务 分 解 成 许多 小 任务 ， 并 相互 独立 运行 。 

图 4-6 ”MapReduce 处 理 过 程 

举 个 例子 ， 企 业 网 站 的 在 线 客服 人 员 与 客户 交流 的 大 量 文本 记录 被 

不 断 地 导入 系统 中 。 分 析 师 可 以 创建 一 个 映射 程序 来 分 析 文 本 记录 中 的 

每 一 个 词语 。 映 射程 序 在 文本 中 简单 地 搜索 每 一 个 词语 ， 并 将 这 些 词语 

从 段落 中 解析 出 来 ， 然 后 标 上 与 其 相关 的 计数 。 映 射程 序 的 输出 结果 是 
词语 与 计数 的 组 合 ， 如 “< 我 ，1>，”“< 产 品 ，1>，”“< 坏 了 ，1>，” 等 。 

当 每 个 工作 节点 都 执行 完 映 射程 序 ， 调 度 程序 会 得 到 通知 。 


再 一 次 分 工 合作 ! 
MapReduce 的 核心 理念 是 ， 让 许多 机 器 一 起 来 共同 承担 海量 数据 带 来 的 处 理 压力 。 当 数据 的 
处 理 敢 辑 可 以 在 不 同 数据 子 集 上 独立 进行 时 ， 使 用 MapReduce 进 行 并 行 处 理 可 以 显著 提升 处 理 
速度 。 



























































一 旦 映射 程序 完成 了 ， 归 纳 程序 束 开 始 局 动 了 。 在 这 个 例子 中 ， 我 
们 的 目标 是 统计 每 个 词语 总 共 出 现 了 多 少 次 。 随 后 发 生 的 处 理 叫 做 “ 洗 


牌 ”。 在 “ 洗 牌 ?过 程 中 ， 不 同 节点 的 映射 程序 输出 结果 被 汇集 起 来 ， 并 
进行 二 次 分 配 ， 每 个 归纳 节点 得 到 它 所 负责 词汇 的 所 有 数据 。 例 如 ， 我 
们 有 26 个 归纳 节点 -5 ， 那 么 以 A 开 头 的 所 有 词语 的 数据 将 全 部 传输 给 
第 一 台 服 务 器 ， 以 B 开 头 的 所 有 词语 的 数据 将 传输 给 第 二 台 服 务 器 ， 以 
c 开 头 的 所 有 词语 的 数据 将 传输 给 第 三 台 服 务 器 ， 依 次 类 推 。 

然后 ， 每 个 归纳 节点 的 归纳 程序 开始 汇总 计算 每 个 单词 出 现 的 频 
紊 。 在 这 个 例子 里 ， 归 纳 程序 的 输出 物 可 能 是 这 样 ，“< 我 ，10>，”< 产 
品 ，25>，”< 坏 了 ，20>，”， 这 里 的 数字 表明 这 个 词语 在 文章 中 出 现 的 
总 次 数 。 程 序 会 产生 26 份 这 种 形式 的 输出 物 ， 每 个 归纳 节点 产生 一 份 。 
请 注意 ， 此 时 还 要 运行 另外 一 个 程序 来 汇总 这 26 份 结果 。 为 了 获得 最 终 
的 结果 ， 通 常 要 执行 多 次 MapReduce 处 理 过 程 。 

一 旦 获得 了 词语 的 出 现 次 数 ， 分 析 师 惑 可 以 开始 工作 了 。 一 些 特定 
产品 的 名 称 ， 以 及 一 些 像 “ 坏 了 ”、“ 愤 怒 ” 这 类 的 词语 ， 都 将 被 识别 出 来 
并 进行 重点 研究 。 要 点 是 ， 原 来 的 文本 数据 是 大 段 的 文字 ， 这 是 一 种 完 
全 非 格式 化 的 数据 ， 在 经 过 处 理 后 ， 它 转换 成 了 一 种 简单 的 格式 ， 以 便 
人 们 进行 分 析 。MapReduce 通 常 是 这 类 数据 处 理 过 程 的 起 点 ， 它 的 输出 
则 成 为 其 他 分 析 过 程 的 输入 。 

可 以 同时 让 几 千 个 映射 与 归纳 程序 运行 在 几 千 台 机 器 上 ， 这 让 
MapReduce 变 得 非常 强大 。 如 果 你 有 海量 的 数据 流 ， 且 数据 的 处 理 任务 
可 以 分 解 成 小 型 任务 ， 那 么 ，MapReduce 可 能 就 是 你 的 “大 救星 ”。 如 果 
某 一 个 处 理 节 点 执行 自身 的 任务 时 不 需要 了 解 其 他 节点 的 信息 ， 那 么 就 
可 以 实现 彻底 的 并 行 处 理 。 在 我 们 举 的 这 个 例子 中 ， 每 个 词语 都 可 以 独 
立地 进行 扫描 ， 在 上 文 的 这 个 映射 程序 里 ， 每 个 词语 与 它 上 下 文 的 其 他 
词语 没有 任何 关联 性 。 

刚才 提 到 的 这 一 点 非常 重要 ， 这 也 是 理解 什么 时 候 及 如 何 使 用 
MapReduce 的 关键 。 当 数据 被 分 配给 不 同 机 器 后 ， 每 台 机 器 就 只 知道 自 
己 的 数据 。 如 果 处 理 过 程 需要 不 同 节 点 进行 数据 交互 ， 那 就 要 使 用 





















































MapReduce 之 外 的 其 他 架构 。 幸 运 的 是 ， 有 很 多 场景 不 需要 节点 进行 数 
据 交 互 ， 可 以 支持 MapReduce 的 处 理 方式 。 解 析 一 个 网 页 日 志文 件 或 一 
条 REFID 记 录 都 不 需要 了 解 其 他 的 任何 信息 。 如 果 输 出 结果 前 ， 需 要 按 
照 客 户 ID 来 汇总 文本 解析 的 结果 ， 只 需要 确保 这 个 客户 的 所 有 数据 都 分 
配给 了 同一 台 服 务 器 即 可 。 

从 概念 上 讲 ，MapReduce 解 决 了 类 似 于 关系 型 数据 库 并 行 处 理 的 问 
题 。 再 次 强调 ，MapReduce 不 是 数据 库 ， 它 不 需要 有 预先 定义 的 结构 ， 
每 个 处 理 过 程 都 不 了 解 之 前 或 之 后 处 理 过 程 中 发 生 的 任何 事情 。 确 实 ， 
MapReduce 和 数据 库 能 做 的 事情 有 部 分 重合 。 数 据 库 可 以 为 MapReduce 
提供 数据 ， 而 MapReduce 也 可 以 把 处 理 结果 输入 数据 库 中 。 关 键 是 要 知 
道 谁 更 适合 做 哪些 任务 。 能 做 这 件 事情 ， 并 不 代表 是 做 这 件 事情 的 最 优 
方案 ， 也 许 其 他 工具 或 方法 能 做 得 更 好 。 数 据 库 和 MapReduce 都 应 该 做 
它们 最 适合 的 事情 。 




















4.6.2 ”MapReduce 优 缺点 


MapReduce 可 以 在 普通 硬件 上 运行 。 因 此 ， 建 立 和 运行 一 个 
MapReduce 系 统 的 成 本 很 低 ， 扩 容 也 非常 便宜 。 你 只 需要 购买 更 多 的 机 
器 ， 把 它们 部 署 在 环境 中 ， 系 统 的 能 力 就 自然 地 得 到 了 扩充 ， 而 这 些 很 
容易 实现 。 

前 面 我 们 已 经 讨论 过 ， 某 些 关 系 型 数据 库 做 起 来 很 费劲 的 事情 ， 
MapReduce 能 做 得 非常 好 ， 如 文本 解析 、 网 络 日 志 扫 抄 ， 或 者 谈 取 一 个 
很 大 的 原始 数据 。 当 一 个 巨大 的 数据 集 被 导入 系统 ， 并 且 这 个 数据 集中 
的 大 部 分 数据 都 不 需要 进行 分 析 ， 那 么 MapReduce 将 是 你 的 最 佳 选 择 。 
如 果 只 有 部 分 数据 是 非常 重要 的 ， 但 是 我 们 还 不 清楚 哪些 数据 会 成 为 重 
要 的 数据 ，MapReduce 也 可 以 发 挥 作 用 。 扫 描 海量 的 数据 ， 并 从 中 抽取 
出 部 分 重要 数据 ， 这 是 MapReduce 最 适合 做 的 事情 。 




















从 水 管 中 叹 水 

许多 大 型 的 数据 流 ， 如 网 络 日 志 ， 都 包含 了 大 量 没有 长 期 价值 的 信息 。MapReduce 让 你 可 以 
从 数据 流 中 抽取 你 想 要 的 数据 ， 让 其 他 没 用 的 数据 流 走 ， 这 就 像 从 水 管 中 吸 水 ， 你 只 喝 了 一 小 
部 分 ， 大 部 分 水 都 流 走 了 。 



































事实 上 ， 如 果 在 数据 处 理 的 最 后 阶段 大 部 分 数据 都 要 被 去 弃 ， 那 么 
耗费 大 量 的 时 间 和 存储 空间 ， 把 全 部 的 原始 数据 都 加 载 到 企业 级 数据 仓 
库 中 是 完全 没有 意义 的 。 如 果 只 在 一 个 很 短 的 时 间 内 需要 这 些 数据 ， 那 
么 ， 把 这 些 数据 加 载 到 一 些 长 期 保留 信息 的 地 方 ， 如 数据 仓库 ， 就 完全 
没 必 要 。 在 这 种 情况 下 ， 最 适合 使 用 MapReduce， 在 进入 数据 库 之 前 ， 
把 数据 中 的 多 余部 分 别 除 挥 。 

在 许多 场景 下 ，MapReduce 的 使 用 方式 与 ETL 工 具有 一 些 相近 。ETL 
工具 读 取 源 数据 的 数据 集 ， 进 行 一 系列 的 格式 转换 与 重组 处 理 ， 然 后 把 
结 末 输出 到 最 终 的 数据 源 中 。 为 了 文 持 分 机 ，ETL 工 具 要 从 生产 系统 中 
抽取 数据 ， 然 后 把 它们 输出 到 一 个 关系 型 数据 库 中 ， 以 便 人 们 可 以 访问 
并 使 用 这 些 数据 。MapReduce 也 会 对 某 个 巨大 的 数据 源 进行 处 理 ， 它 用 
一 些 具 有 业务 意义 的 方式 进行 汇总 ， 然 后 把 结果 输出 到 数据 库 或 某 个 分 
析 流 程 中 。 在 前 面 这 个 例子 中 ， 初 始 的 大 段 文 本 被 转 换 成 了 可 被 分 析 词 
语 的 出 现 次 数 。 处 理 的 结果 可 以 导入 数据 库 中 ， 然 后 与 已 有 的 信息 进行 
整合 分 析 ， 从 而 获得 额外 的 信息 。 

MapReduce 并 不 是 数据 库 ， 它 没有 内 置 的 安全 机 制 ， 没 有 索引 ， 没 
有 得 询 或 处 理 过 程 的 优化 机 制 ， 没 有 其 他 已 完成 任务 的 历史 信息 ， 也 不 
知道 其 他 节点 拥有 的 数据 内 容 。MapReduce 提 供 了 一 种 灵活 处 理 各 类 数 
据 的 方式 ， 同 时 ， 它 也 有 责任 去 准确 地 定义 或 描述 每 一 个 处 理 过 程 中 产 
生 的 数据 。 所 有 的 一 切 都 或 多 或 少 需 要 用 户 进 行 编程 ， 包 括 数据 结构 。 
每 一 个 任务 都 是 一 个 孤立 的 实体 ， 它 并 不 了 解 其 他 可 能 正在 执行 的 任 
务 。 











MapReduce 还 不 是 非 党 成熟。 知道 如 何 恰 当地 使 用 和 配置 MapReduce 
的 人 并 不 多 ， 也 没有 很 多 人 懂得 开发 MapReduce 所 需要 的 代码 程序 。 所 
以 在 今天 ， 给 定 一 些 资 源 约束 条 件 ， 打 造 MapReduce 方 同 的 强大 优势 并 
不 容易 。 这 种 情况 未 来 一 定 会 发 生 改 变 ， 因 为 随 着 MapReduce 的 发 展 ， 
越 来 越 多 的 人 会 了 解 并 掌握 MapReduce。 这 也 是 本 书写 作 时 的 一 大 考虑 
因素 。 





4.6.3 “MapReduce 小 结 


随 着 大 数据 成 为 企业 需要 应 对 的 一 大 问题 ，MapReduce 也 得 到 了 越 
来 越 多 的 使 用 ， 影 响 力也 在 不 断 增 长 。 当 处 理 海量 数据 时 ， 由 于 其 中 大 
部 分 的 数据 长 期 来 看 都 没有 价值 ，MapReduce 这 种 使 用 普通 硬件 进行 并 
行 处 理 的 能 力 就 变 得 很 有 吸引 力 。 通 过 把 大 型 任务 分 解 成 小 型 任务 ， 
MapReduce 可 以 比 其 他 方式 更 快 、 更 便宜 的 完成 各 类 数据 处 理 的 任务 。 

MapReduce 不 是 数据 库 ， 它 也 不 会 取代 数据 库 ， 但 是 MapReduce 的 确 
可 以 给 企业 的 数据 库 增 加 巨大 的 价值 。 一 旦 MapReduce 被 部 署 完 成 ， 并 
开始 从 大 数据 流 中 抽取 部 分 重要 的 数据 ， 这 些 数据 就 可 以 被 其 他 传统 的 
数据 库 使 用 ， 并 进行 深入 分 析 ， 也 可 以 提供 各 种 类 型 的 查询 和 分 析 报 
表 。 在 某 些 方面 ，MapReduce 有 点 类 似 于 ETL。 

在 本 的 最 后 ， 让 我 们 再 来 看 一 个 简单 的 例子 。 网 络 日 志 是 非常 大 
的 ， 包 含 了 很 多 无 用 的 信息 。 束 像 大 海 挤 针 ，MapReduce 可 以 从 大 数据 
的 海洋 中 找到 有 价值 的 针 。 想 象 一 个 MapReduce 的 处 理 流程 ， 它 对 网 络 
日 志 进 行 实时 扫描 ， 并 识别 出 需要 执行 的 动作 。 例 如 ，MapReduce 可 以 
发 现 哪些 客户 浏览 了 某 个 产品 但 是 最 终 却 没有 购买 ， 这 些 信 息 立 刻 被 传 
递 给 电子 邮件 生成 流程 ， 企 业 束 可 以 给 这 些 客户 发 送 后 续 的 促销 邮件 。 
这 所 有 的 一 切 都 发 生 在 把 原始 数据 导入 关系 型 数据 库 并 执行 查询 语句 之 
月 。 

















一 旦 这 个 实时 扫描 任务 执行 完了 ， 最 重要 的 信息 就 可 以 寻 入 数据 库 
了 。 这 些 信息 可 以 和 其 他 重要 的 客户 历史 记录 关联 起 来 ， 更 多 路 时 间 、 
路 部 门 的 战略 型 分 析 就 可 以 进行 了 。 在 这 个 例子 里 ， 被 识别 出 来 的 客户 
名 单 会 被 导入 数据 库 ， 并 记录 企业 给 他 们 发 送 过 的 促销 邮件 。 企 业 随 后 
可 以 进行 跟踪 分 析 ， 研 完 邮 件 和 营销 的 历史 记录 ， 就 像 每 一 次 邮件 营销 活 
动 中 做 的 事情 一 样 。 


4.7 这 不 是 一 个 单 选 题 


在 驾驭 大 数据 的 分 析 生 态 环境 中 ， 海 量 并 行 关 系 型 数据 库 、 云 计 
算 、MapReduce 都 可 以 发 挥 重 要 的 作用 。 可 以 将 这 3 项 技术 整合 起 来 使 
用 ， 并 从 大 数据 中 获得 最 大 的 价值 。 有 许多 方式 可 以 把 这 些 不 同 的 技术 
整合 起 来 。 

四 ”数据库 可 以 运行 在 云 里 。 

上 数据库 可 以 内 置 MapReduce 功 能 。 例 如 ，Teradata 公 司 的 Aster 平 
台 拥 有 一 项 SQL MapReduce 相 关 的 专利 技术 ， 能 把 MapReduce 的 处 理 过 
程 转换 为 SQL 查询 的 一 部 分 。 

四 ”还 有 一 种 同时 使 用 数据 库 和 MapReduce 的 方法 ，MapReduce 可 以 
对 数据 库 内 的 数据 进行 处 理 ， 也 可 以 把 自身 的 处 理 结果 导入 数据 库 。 

加 ”MapReduce 也 可 以 直接 处 理 云 计算 环境 内 的 数据 。 

四 ” 蝎 进一步 ，MapReduce 可 以 对 部 署 在 云 内 的 数据 库 的 库 内 数据 进 
行 处 理 ! 

这 3 种 技术 可 以 相互 影响 并 协同 工作 。 每 一 项 技术 都 能 加 强 其 他 技 
术 ， 只 要 被 正确 地 使 用 。 你 完全 可 以 同时 使 用 这 些 技 术 ， 这 并 不 是 一 个 
单 选 题 。 分 析 环 境内 可 以 同时 包含 这 些 不 同 的 技术 与 方案 ， 许 多 企业 已 
经 开始 努力 实现 这 3 类 技术 的 整合 和 协作 了 。 此 外 ， 在 刚才 提 到 的 各 种 
分 析 场 景 下 ， 还 可 以 同时 部 蜀 并 配置 网 格 计算 方案 。 





























4.8 ”本 章 小 结 


以 下 是 本 章 的 重点 内 容 。 

田 ” 几 十 年 以 来 ， 分 析 师 一 直 在 推动 提高 分 析 可 扩展 性 ， 大 数据 是 人 
们 要 萄 驭 的 下 一 代 “ 可 怕 ” 数 据 。 

四 ”分 析 环 境 与 数据 管理 环境 正在 互相 融合 。 库 内 处 理 模式 正在 逐渐 
取代 传统 的 离线 分 析 处 理 模 式 ， 以 文 持 各 类 高 级 分 析 。 

上 ”海量 并 行 处 理 〈MPP) 数据 库 ， 云 计算 架构 ， 以 及 MapReduce 都 
是 芍 驭 大 数据 强 有 力 的 工具 。 

四 分析 专家 可 以 使 用 MPP 数 据 库 来 完成 数据 准备 和 评分 ， 有 具体 方法 
包括 直接 提交 SQL、 用 户 自 定义 函数 UDF) 、 网 入 式 过 程 以 及 预测 模 
型 标记 语言 (PMML) 。 

上 ” 云 可 以 是 公有 云 ， 也 可 以 是 私有 云 。 不 管 是 哪 种 云 ， 都 将 使 用 户 
更 容易 地 获得 所 需 的 系统 资源 ， 你 只 需要 为 自己 的 使 用 付费 。 对 于 研发 
类 的 活动 与 工作 ， 云 计算 可 以 带 来 巨大 的 帮助 。 

田 ” 公 有 云 并 不 提供 性 能 承 话 ， 数 据 安全 必须 被 严格 监管 ， 因 为 数据 
己 经 脱离 了 企业 的 直接 控制 。 

四 ”一旦 企业 内 公有 云 被 广泛 使 用 ， 使 用 公有 云 的 成 本 将 可 能 超过 内 
部 构建 的 自 有 系统 。 

四 ”私有 云 在 一 个 安全 的 环境 下 提供 了 灵活 性 ， 这 对 于 大 型 企业 有 重 
要 的 意义 。 

国 网 格 计算 可 以 完成 一 些 无 法 直接 交 给 单一 数据 库 处 理 的 超大 型 任 
务 。 网 格 计算 将 被 越 来 越 广泛 地 使 用 ， 且 功能 变 得 更 加 强大 。 

四 ”MapReduce 架 构 是 一 种 可 以 使 程序 并 发 执行 的 技术 ， 它 将 变 得 越 
来 越 重 要 。 

国 。 MapReduce 可 以 帮助 人 们 要 驭 大 数据 ， 它 可 以 对 大 数据 进行 预 处 
理 ， 从 中 抽取 重要 的 部 分 信息 以 进行 更 深入 的 分 析 。 




















四 ”关系 型 数据 库 、 云 计算 、MapReduce 都 能 帮助 人 们 驾驶 大 数据 。 
这 3 项 技术 可 以 整合 起 来 协同 工作 ， 这 使 得 每 一 项 技术 都 变 得 更 加 强大 
和 高 效 。 





第 5 草 
分 析 流 程 的 演进 


第 4 章 讨 论 过 了 分 析 扩 展 性 的 提升 会 给 企业 带 来 什么 影响 。 如 宁 企 业 
不 使 用 这 些 分 析 能 力 ， 那 么 答案 是 什么 也 不 会 发 生 。 如 果 还 是 使 用 传统 
的 分 析 流 程 ， 升 级 新 技术 能 带 来 的 分 析 可 扩展 性 的 提升 ， 将 不 会 创造 太 
多 的 价值 。 就 像 买 了 一 个 拥有 很 多 诱 人 功能 的 3D 电 视 ， 但 接收 的 还 是 
原 有 的 电视 信号 ， 与 老式 电视 机 相 比 ， 也 许 新 的 3D 电 视 画 面 确实 要 清 
晰 一 些 ， 但 观看 体验 与 老式 电视 机 没有 本 质 区 别 ， 您 并 没有 获得 3D 电 
视 应 有 的 观看 体验 。 

类 似 地 ， 使 用 高 级 分 析 的 企业 在 提升 分 析 可 扩展 性 的 同时 ， 执 行 与 
部 署 分 析 的 流程 也 必须 随 之 改变 。 过 去 常规 的 分 析 执 行 与 部 署 流程 不 能 
充分 地 挖掘 分 析 应 有 的 价值 。 如 果 现 有 的 分 析 流 程 不 进行 一 些 根本 的 改 
变 ， 企 业 只 能 获得 分 析 能 力 与 生产 力 的 部 分 提升 ， 远 远 低 于 局 级 分 析 可 
扩展 性 具备 的 全 部 价值 。 如 果 使 用 传统 的 方法 来 执行 分 析 流 程 ， 芝 驭 大 
数据 将 是 不 可 能 实现 的 任务 。 

一 个 首要 的 改变 是 ， 配 置 并 管理 分 析 专 家 所 需 的 工作 空间 。 传 统 的 
做 法 是 在 一 个 专门 文 持 分 析 工 作 的 独立 服务 器 上 部 署 工作 空间 。 前 面 已 
经 讨论 过 ， 库 内 分 析 已 经 成 为 了 新 的 标准 。 为 了 充分 利用 库 内 分 析 和 市 来 
的 可 扩展 性 的 优势 ， 分 析 专 家 需要 一 个 直接 驻 留 在 数据 库 系统 内 的 工作 
空间 ， 或 者 称 为 “分 析 沙 箱 ”。 在 大 数据 领域 ，MapReduce 环 境 将 是 传统 
分 析 沙 箱 的 补充 。 本 章 的 第 一 部 分 将 讨论 什么 是 分 析 沙 箱 ， 它 为 什么 很 
重要 ， 以 及 如 何 使 用 分 析 沙 箱 。 

在 数据 库 平 台中 使 用 分 析 沙 箱 进行 分 析 工 作 时 ， 分 析 专 家 常 需 要 重 
复 执行 一 些 任务 。 例 如 ， 不 管 做 什么 类 型 的 客户 分 析 ， 每 一 个 分 析 专 家 
都 需要 获得 客户 的 各 项 核心 指标 。 企 业 分 析 数 据 集 是 一 个 重要 的 工具 ， 























用 来 显赫 提高 分 析 专 家 工作 的 数据 一 致 性 与 工作 效率 ， 以 及 降低 公司 使 
用 高 级 分 析 流 程 所 带 来 风险 。 本 章 的 5.2 小 节 将 介绍 基础 的 分 析 数 据 
集 ， 然 后 我 们 会 讨论 企业 分 析 数 据 集 (Enterprise Analytic Data Set， 
EADS) ， 包 括 什 么 是 EADS， 它 有 什么 好 处 ， 以 及 某 个 分 析 专 家 开发 
了 EADS 后 ， 如 何 让 其 他 人 和 其 他 应 用 来 使 用 它 。 

许多 分 析 需 要 对 某 些 基础 数据 定期 执行 重复 的 评分 工作 。 例 如 ， 一 
个 客户 倾向 模型 需要 定期 重复 评分 过 程 ， 以 获得 下 个 月 这 些 客户 购买 某 
一 产品 的 概率 。 在 过 去 ， 更 新 每 一 个 客户 的 评分 结果 是 一 项 耗 时 巨大 并 
是 不 和 常 执行 的 任务 。 如 今 必须 及 时 更 新 这 些 客户 倾 同 的 评分 结果 ， 即 使 
不 是 实时 生成 的 ， 也 必须 按 天 进行 更 新 。 本 章 的 5.3 小 节 将 讨论 如 何在 
数据 库 环 境 中 租 入 这 些 评分 过 程 ， 以 及 如 何 更 高 效 地 管理 和 监控 这 些 通 
过 模型 管理 开发 的 分 析 模 型 和 流程 。 














在 第 4 曹 ， 我 们 讨论 了 海量 并 行 数 据 库 系统 的 巨大 威力 。 这 种 数据 库 
系统 的 一 种 应 用 是 加 快 高 级 分 析 流 程 的 构建 与 部 普 。 为 了 帮助 分 析 专 家 
高 效 地 使 用 企业 级 数据 仓库 和 数据 集 市 ， 分 析 专 家 必须 获得 这 些 系统 的 
正确 权限 ， 并 进行 访问 。 分 析 沙 箱 就 是 这 样 的 一 种 管理 机 制 ， 如 果 被 恰 
当地 使 用 ， 分 析 沙 箱 能 给 大 数据 领域 带 来 巨大 价值 。 

“ 沙 箱 ” 这 个 词 来 目 一 种 孩子 们 向 见 的 玩具 。 在 沙 箱 里 ， 孩 子 们 可 以 
创建 他 们 想 要 的 任何 东西 ， 他 们 可 以 根据 自己 的 意愿 把 沙子 堆砌 成 各 种 
形状 。 类 似 地 ， 分 析 环 境 的 沙 箱 就 是 一 个 资源 组 。 在 这 个 资源 组 里 ， 分 
析 专 家 能 根据 上 自己 的 意愿 对 数据 进行 各 种 探索 研究 。 沙 箱 还 有 另外 一 个 
名 称 ， 叫 做 敏捷 分 析 云 或 数据 实验 室 。 有 具体 是 什么 名 称 并 不 重要 ， 重 要 
的 是 你 理解 了 背后 的 理念 。 























5.1.1 分析 沙 箱 : 定义 与 范围 


分 析 沙 箱 提供 了 一 个 资源 组 ， 可 以 支持 各 种 局 级 分 析 ， 以 找到 各 类 
关键 业务 问题 的 答案 。 分 析 沙 箱 最 适合 进行 数据 探索 、 分 析 流 程 开 发、 
概念 验证 以 及 原型 开发 。 这 些 探索 性 的 分 析 流 程 一 旦 发 展 为 用 户 省 理 尝 
程 或 者 生产 流程 ， 就 应 该 从 分 析 沙 箱 里 挪 出 去 。 

分 析 沙 箱 只 被 一 小 部 分 用 户 使 用 。 分 析 沙 箱 中 创建 的 数据 与 生产 数 
据 库 彼此 隔离 。 沙 箱 用 户 也 可 以 把 自己 的 数据 导入 到 沙 箱 内 ， 在 短期 内 
作为 整个 分 析 项 目的 一 部 分 数据 源 ， 即 使 这 些 数据 不 在 企业 的 数据 模型 
范围 内 。 

沙 箱 中 的 数据 都 有 时 间 限 制 。 沙 箱 的 理念 并 不 是 建立 一 个 永久 数据 
集 ， 而 是 根据 每 个 项 目的 需求 构建 项 目 所 需 的 数据 集 。 一 旦 这 个 项 目 完 
成 了 ， 数 据 束 被 删除 了 。 如 果 沙 箱 补 恰当 地 使 用 ， 沙 箱 将 是 提升 企业 分 
析 价 值 的 主要 驱动 力 。 


5.1.2 ”分析 沙 箱 的 好 处 





分 析 沙 箱 有 什么 好 处 ? 我 们 将 从 分 析 专 家 与 IT 人 员 两 种 视角 来 进行 
阐述 。 

对 于 分 析 专 家 而 言 ， 沙 箱 的 好 处 有 以 下 几 个 。 

四 独 : 分 析 专 家 可 以 在 数据 库 系 统 中 独立 开展 工作 ， 不 需要 经 各 
来 回 申 请 项 目 所 需 的 各 种 权限 。 

四 ”灵活 性 :; 分 析 专 家 可 以 目 由 地 使 用 各 种 分 析 工 具 ， 包 括 丙 业 智 
能 、 统 计 分 析 或 可 视 化 数据 工具 等 。 

四 ”效率 ; 分 析 专 家 可 以 直接 使 用 企业 数据 仓库 或 数据 集 市 来 进行 分 
析 ， 不 需要 抽取 或 移动 数据 。 

四 ”自由 : 分 析 专 家 不 需要 负责 系统 管理 与 生产 流程 的 监控 ， 这 些 维 
护 性 工作 都 转移 给 了 IT 部 门 。 














四 ”速度 : 通过 并 行 处 理 可 以 实现 大 范围 的 快速 优化 。 这 也 带 来 
了 “快速 迭代 ”与 “快速 试 错 ”的 能 力 ， 降 低 了 创新 的 风险 。 





沙 箱 对 每 一 个 人 都 有 好 处 ! 
分 析 沙 箱 对 分 析 专 家 和 IT 人 员 有 不 同 的 好 处 ， 它 不 会 伤害 任何 一 方 。 双 方 人 员 在 不 理解 沙 箱 
时 ， 第 常 害 怕 这 个 概念 。 建 议 开展 内 部 培训 后 再 局 动 沙 箱 建设 ， 这 可 能 会 耗费 一 些 时 间 ， 但 绝 
对 值得 。 






























































分 析 沙 箱 对 IT 人 员 有 以 下 几 个 好 处 。 

四 ”集中 化 : IT 人 员 可 以 像 管 理 其 他 数据 库 一 样 对 分 析 沙 箱 进 行 集中 
管理 。 

四 流水线 作业 : 沙 箱 显 著 地 简化 了 推动 在 生产 流程 中 使 用 分 析 流 程 
的 难度 ， 因 为 开发 与 部 署 都 发 生 在 同一 平台 。 

昌 简化 : 应 用 从 开发 环境 迁移 到 生产 环境 时 ， 不 需要 进行 任何 形式 
的 重新 开发 。 

四 ”控制 : IT 可 以 管理 沙 箱 环 境 ， 平 衡 沙 箱 用 户 和 其 他 用 户 的 资源 需 
求 。 如 果 沙 箱 环境 的 探索 工作 发 生 了 错误 ， 也 不 会 影响 生产 环境 。 

四 ”降低 成 本 : 通过 把 许多 分 析 型 数据 集 市 集中 到 一 个 中 央 集 中 系统 
内 ， 可 以 显著 地 降低 成 本 。 














5.1.3 ”内 部 分 析 沙 箱 





从 企业 级 数据 仓库 或 数据 集 市 中 划分 出 一 其 区 域 形 成 的 分 析 沙 箱 ， 
就 是 内 部 分 析 沙 箱 。 在 这 个 例子 里 ， 沙 箱 物理 上 是 部 普 在 生产 系统 中 
的 ， 但 沙 箱 的 数据 并 不 是 生产 数据 库 的 一 部 分 。 沙 箱 是 系统 中 独立 存在 
的 数据 库 区 域 ， 如 图 5-1 所 示 。 








会 企业 级 数据 仓库 
或 数据 集 市 
图 5-1 内 部 分 析 沙 箱 

使 用 大 数据 时 需要 注意 ， 最 好 增加 一 个 MapReduce 环 境 到 混合 环境 
中 。 通 常会 同 数据 库 平 台 一 起 安装 ， 除 非 你 现在 使 用 的 系统 没有 同时 包 
括 这 两 个 环境 。MapReduce 环 境 需 要 访问 内 部 沙 箱 ， 数 据 可 以 在 所 需 的 
两 个 环境 中 进行 共享 。 我 们 已 经 在 第 4 章 中 讨论 过 了 MapReduce。 

内 部 沙 箱 的 一 个 优势 是 ， 它 可 以 利用 现 有 的 硬件 资源 和 基础 设施 。 
这 使 得 我 们 可 以 方便 地 搭建 内 部 沙 箱 。 从 系统 管理 员 的 角度 来 看 ， 在 系 
统 中 搭建 一 个 沙 箱 与 创建 一 个 数据 库容 器 没什么 两 样 。 沙 箱 唯一 的 不 同 
之 处 在 于 ， 它 可 以 将 某 些 权限 授予 某 些 用 户 ， 并 规定 了 如 何 使 用 它 。 

内 部 分 析 沙 箱 最 大 的 优势 是 ， 可 以 直接 把 生产 环境 的 数据 与 沙 箱 的 
数据 进行 关联 分 析 。 既 然 生产 环 境 数 据 与 分 析 沙 箱 的 数据 都 保存 在 生产 
系统 中 ， 那 么 把 某 一 个 数据 源 与 另外 一 个 数据 源 联合 起 来 一 起 分 析 就 很 
容易 实现 了 ， 图 5-2 介 绍 了 这 一 工作 原理 。 























分 析 沙 箱 分 析 视 图 和 
企业 分 析 数 
据 





补充 数据 
图 5-2 ”内 部 沙 箱 的 详细 视图 

内 部 分 析 沙 箱 能 显著 市 约 成 本 ， 因 为 没有 增加 任何 新 的 硬件 设备 。 
生产 系统 已 经 建立 好 了 ， 只 需要 用 一 种 新 的 方式 来 使 用 它 。 此 外 ， 除 了 
在 数据 库 与 MapReduce 环 境 之 间 ， 不 存在 其 他 类 型 的 数据 迁移 ， 这 也 能 
降低 成 本 。 

内 部 分 析 沙 箱 也 有 人 缺点。 第 一 ， 数 据 导 入 企业 数据 仓库 或 数据 集 市 
后 ， 还 要 把 数据 导入 沙 箱 中 ， 这 增加 了 工作 量 。 其 次 ， 沙 箱 会 占用 系统 
的 存储 空间 与 CPU 资源 《可 能 是 很 大 一 部 分 资源 ) 。 还 有 一 个 缺点 是 ， 
内 部 分 析 沙 箱 受 到 生产 环境 管理 政策 与 流程 的 限制 。 例 如 ， 如 果 周 一 早 
晨 生 成 报表 的 任务 会 占用 全 部 系统 资源 ， 那 么 此 时 分 析 沙 箱 用 户 就 没有 
足够 的 资源 可 以 使 用 了 。 











5.1.4 ”外 部 分 析 沙 箱 


外 部 分 析 沙 箱 ， 是 一 个 物理 独立 的 分 析 环 境 ， 用 于 测试 和 开发 各 类 


分 析 流 程 。 通 常 来 说 ， 构 建 一 个 纯 外 部 的 分 析 环 境 是 很 少见 的 。 内 部 分 
析 沙 箱 以 及 随后 会 谈 到 的 混合 式 分 析 沙 箱 通 弟 更 为 常见 。 外 部 分 析 沙 箱 
通常 是 混合 式 沙 箱 环境 的 一 个 组 成 部 分 ， 因 此 理解 外 部 沙 箱 是 什么 非常 
重要 ， 如 图 5-3 所 示 。 

沙 箱 抽取 








全 数据 仓库 


或 数据 集 市 
图 5-3 ”外 部 分 析 沙 箱 

外 部 分 析 沙 箱 的 最 大 的 优势 是 它 的 架构 简单 。 沙 箱 是 一 个 独立 的 环 
境 ， 完 全 用 于 开发 局 级 分 析 。 它 不 会 影响 其 他 任何 系统 ， 这 给 沙 箱 的 设 
计 与 使 用 带 来 了 便利 。 例 如 ， 可 以 尝试 不 同类 型 的 数据 库 设 置 ， 或 者 把 
沙 箱 数 据 库 升级 到 新 版 本 ， 以 测试 新 版 本 特性 。 这 与 开 友 应 用 的 传统 测 
试 开 发 环境 有 点 类 似 。 

一 个 肖 见 问题 是 :“ 这 个 外 部 的 分 析 系 统 ， 是 不 是 违背 了 把 数据 放 在 
数据 库 中 进行 分 析 的 原则 ”。 如 果 你 把 沙 箱 当 作 一 个 分 析 开 发 环境 ， 那 
么 答案 是 没有 违背 。 大 多 数 企 业 都 有 一 个 训 试 环境 和 开发 环境 ， 用 于 文 
持 应 用 与 商业 智能 类 的 工作 ， 并 且 独 立 于 生产 环境 。 外 部 分 析 沙 箱 也 证 
同样 的 道理 ， 只 是 它 支 持 的 是 分 析 活 动 。 

外 部 分 析 沙 箱 的 万 外 一 个 优点 是 减少 了 系统 负载 管理 。 只 有 分 析 专 
家 使 用 这 个 系统 ， 自 然 束 不 用 去 考虑 不 同系 统 间 的 负载 平衡 。 分 析 沙 箱 
和 生产 环境 的 性 能 表现 都 是 可 预测 的 、 稳 定 的 。 例 如 ， 沙 箱 用 户 不 用 担 
心 周一 早上 系统 资源 不 够 用 ， 他 们 可 以 获得 稳定 的 沙 箱 访问 能 











少 箱 并 不 违背 原则 
外 部 分 析 沙 箱 并 没有 违背 库 内 分 析 的 原则 。 可 以 把 外 部 沙 箱 当 作 支 持 分 析 的 一 个 测试 开发 环 
境 。 这 些 环境 有 不 少 合理 且 有 力 的 存在 理由 ， 应 用 与 报表 的 开发 测试 环境 更 是 无 处 不 在 。 


外 部 分 析 


























外 部 分 析 沙 箱 最 好 使 用 与 生产 系统 一 样 的 关系 型 数据 库 。 如 果 这 
样 ， 那 么 把 沙 箱 的 分 析 流 程 导 入 生产 系统 速 只 是 一 个 简单 的 复制 过 程 。 
如 果 沙 箱 中 的 数据 格式 与 生产 系统 的 源 数据 保持 一 致 ， 也 会 简化 迁移 过 
程 ; 

当 处 理 大 数据 时 ，MapReduce 环 境 应 该 包含 在 外 部 分 析 沙 箱 环境 
中 。 在 这 种 情况 下 ， 外 部 分 析 沙 箱 环境 将 包含 一 个 关系 型 数据 库 和 一 个 
MapReduce 组 件 。 有 些 情况 下 可 能 是 同一 个 系统 承担 这 两 项 任务 ， 也 可 
能 存在 两 个 独立 的 物理 平台 。 

外 部 分 析 沙 箱 的 主要 缺点 是 作为 沙 箱 平 台 的 独立 系统 带 来 的 成 本 增 
加 。 为 了 降低 成 本 ， 很 多 企业 构建 沙 箱 环境 时 会 使 用 生产 系统 升级 后 蔡 
换 下 来 的 旧 设 备 。 使 用 这 些 原本 要 丢弃 的 旧 设 备 来 构建 沙 箱 ， 能 降低 分 
析 沙 箱 的 硬件 成 本 。 

男 外 一 个 缺点 是 ， 外 部 分 析 沙 箱 需 要 进行 数据 迁移 。 在 开发 一 个 新 
分 析 内 容 时 ， 必 须 提 前 把 数据 从 生产 环境 导入 到 沙 箱 中 。 这 个 数据 迁移 
过 程 通常 要 持续 地 进行 维护 与 管理 。 这 些 数 据 也 许 并 不 是 太 复杂 ， 但 带 
来 了 需要 进行 管理 和 执行 的 额外 任务 。 因 此 ， 沙 箱 的 数据 需求 必须 被 严 
格 管理 ， 并 专注 于 那些 绝对 必要 的 数据 。 

















5.1.5 ”混合 式 分 析 沙 箱 


混合 式 分 析 沙 箱 是 内 部 沙 箱 和 外 部 沙 箱 的 组 合 。 它 允许 分 析 专 家 利 
用 生产 系统 计算 能 力 的 灵活 性 ， 又 保留 了 外 部 系统 可 以 执行 数据 库 难 以 
完成 菜 些 高 级 探索 任务 的 优点 ， 如 图 5-4 所 示 。 





外 部 沙 箱 内 部 沙 箱 
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图 5-4 混合 式 分 析 沙 箱 

混合 式 分 析 沙 箱 最 大 的 优点 束 是 同时 具有 内 部 沙 箱 和 外 部 沙 箱 两 个 
环境 的 优点 ， 还 有 处 理 茶 些 复杂 分 析 时 无 与 伦比 的 灵活 性 。 早 期 的 测试 
与 探索 工作 通 币 是 在 外 部 沙 箱 中 完成 的 ， 这 避免 了 对 生产 系统 的 影 啊 。 
最 终 测 试 和 预先 部 署 工作 则 在 生产 环境 下 的 内 部 沙 箱 完成 。 一 个 独立 的 
MapReduce 环 境 可 以 同时 支持 内 部 和 外 部 沙 箱 。 

另外 一 个 优点 是 ， 在 分 析 流 程 已 经 开发 完成 、 生 产 系统 进行 全 面部 
普 前 ， 可 以 构建 一 个 临时 性 的 “模拟 生产 系统 ?来 进行 测试 。 通 过 使 用 内 
部 沙 箱 ， 这 很 容易 实现 。 

混合 式 环 境 的 缺点 相当 于 内 部 阔 箱 和 外 部 沙 箱 缺点 的 汇总 ， 此 外 还 
增加 了 一 些 新 的 缺点 。 一 个 缺点 是 ， 需 要 同时 管理 维护 内 部 沙 箱 与 外 部 
沙 箱 两 个 环境 。 在 这 种 情况 下 ， 不 仅 要 保持 外 部 沙 箱 和 生产 系统 的 数据 
一 致 性 ， 还 需要 保证 外 部 沙 箱 和 欠 部 沙 箱 的 数据 一 致 性 。 

有 必要 建立 一 些 原 则 来 指导 沙 箱 构建 模式 的 选择 。 外 部 沙 箱 和 内 部 
沙 箱 都 有 一 些 适 合 承 载 的 特定 任务 。 分 析 专 家 不 能 武断 地 决定 使 用 这 种 
或 那 种 沙 箱 ， 而 是 应 该 建立 指导 原则 并 严格 执行 。 


不 要 把 沙 箱 撑 爆 了 ! 
只 将 分 析 必 需 的 、 最 少量 的 数据 导入 外 部 分 析 沙 箱 。 沙 箱 只 会 保存 生产 环境 的 一 小 部 分 数 
据 。 沙 箱 内 的 数据 范围 会 根据 特定 分 析 需 求 变化 ， 干 万 不 要 导入 非 必要 的 数据 。 



































混合 式 分 析 沙 箱 的 最 后 一 个 缺点 是 ， 可 能 需要 建立 两 个 不 同 的 数据 
导入 流程 ， 这 增加 了 系统 的 复杂 性 。 外 部 沙 箱 和 内 部 沙 箱 必 须 保证 数据 
的 一 致 性 。 当 茶 个 沙 箱 环 境 生 成 了 新 的 数据 ， 那 么 这 些 处 理 过 程 必须 在 
另 一 个 环境 中 重复 执行 一 这。 


5.1.6 ”不 要 仅仅 使 用 数据 ， 而 要 丰富 数据 


沙 箱 环境 最 适合 于 对 新 数据 进行 探索 分 析 ， 确 定 是 否 需 要 把 这 个 数 
气 源 导入 到 企业 系统 和 分 析 流 程 中 并 固化 下 来 。 这 些 新 数据 源 可 以 是 社 
交 网 络 数据 ， 家 庭 的 人 口 统计 信息 ， 或 者 其 他 类 型 的 大 数据 源 。 那 么 ， 
分 析 专 家 应 该 如 何 探索 研究 这 些 数据 并 评估 其 价值 呢 ? 

想象 一 下 ， 如 果 不 经 过 研究 ， 束 直接 建立 一 个 数据 处 理 任务 ， 并 正 
式 地 把 新 数据 导入 生产 系统 ， 这 会 带 来 什么 后 果 ? 首先 ， 你 必须 评估 数 
据 导 入 工作 的 范围 与 要 求 。 然 后 ， 建 立 一 个 新 的 项 目 来 负 贡 开发 数据 的 
提取 、 转 换 和 加 载 (ETL) 流程 。 此 外 ， 还 必须 设计 一 个 包含 新 数据 的 
数据 模型 ， 并 通过 审批 ， 以 及 在 生产 系统 中 实现 。 所 有 的 这 一 切 都 必须 
经 过 测试 。3 一 6 个 月 后 ， 这 个 处 理 流 程 上 线 了 ， 新 数据 终于 导入 了 生产 
系统 以 供 人 们 使 用 。 这 时 ， 也 许 分 析 会 显示 这 些 新 数据 并 没有 什么 业务 
价值 ， 你 甚至 根本 惑 不 需要 这 些 数据 。 这 种 做 法 会 带 来 多 么 大 的 资源 溪 
费 啊 ! 

















先 分 析 一 下 样本 数据 ! 

当 人 们 并 不 确定 是 否 喜 欢 某 一 口味 的 冰激凌 时 ， 他 们 会 先 试 吃 一 口 。 如 果 喜 欢 ， 他 们 就 买 下 
来 ， 如 果 不 喜 欢 ， 他 们 就 再 试 试 其 他 口味 。 对 于 新 的 数据 源 也 是 一 样 的 逻辑 。 要 是 你 不 知道 它 
是 否 就 是 你 需要 的 ， 就 不 要 全 部 导入 生产 系统 ， 先 在 分 析 沙 箱 里 试 着 研究 一 下 吧 ! 










































































沙 箱 可 以 避免 刚才 描绘 的 场景 。 可 以 一 次 性 地 抽取 部 分 新 数据 并 导 
入 沙 箱 ， 然 后 研究 这 些 新 数据 。 如 果 结 果 不 太 好 ， 那 就 分 析 其 他 的 新 数 


据 源 ;如 果 数 据 研究 结果 很 好 ， 那 就 局 动 把 数据 导入 生产 系统 这 个 漫长 
又 昂贵 的 工作 任务 吧 。 使 用 分 析 沙 箱 来 探索 并 验证 新 数据 源 的 价值 ， 不 
仅 比 传统 的 方式 快 得 多 ， 成 本 也 低 得 多 。 


5.1.7 ”系统 负载 管理 和 容量 规划 


当 分 析 专 家 开始 使 用 沙 箱 时 ， 有 很 多 内 置 的 数据 库 组 件 帮助 这 项 工 
作 更 顺利 地 进行 。 沙 箱 用 户 可 以 被 分 配 到 不 同 的 用 户 组 里 ， 不 同 组 可 以 
拥有 不 同 的 系统 权限 来 开发 使 用 新 的 高 级 分 析 。 例 如 ， 你 可 以 限制 在 同 
一 时 间 某 一 个 沙 箱 用 户 能 使 用 多 少 CPU 资 源 。 企 业 级 系统 拥有 足够 的 灵 
活性 来 控制 这 一 点 。 当 某 个 用 户 提出 资源 要 求 时 ， 也 许 系 统 只 会 提供 
10% 的 资源 ， 到 了 半夜 ， 如 有 果 没 有 其 他 活跃 用 户 了 ， 那 么 这 名 用 户 就 可 
以 获得 100% 的 系统 资源 。 

控制 并 发 查询 量 ， 或 者 限制 客户 创建 某 些 类 型 的 查询 ， 这 都 是 完全 
可 行 的 。 例 如 ， 对 某 个 用 户 来 说 ， 他 只 能 同时 提交 5 项 查询 任务 。 此 
外 ， 系 统 还 拥有 一 些 工 具 来 发 现 并 终止 执行 那些 效率 很 低 的 大 型 查询 ， 
如 两 张大 表 的 交叉 关联 等 。 

另 一 件 很 重要 的 事情 是 通过 数据 存储 策略 来 限制 用 户 使 用 的 数据 存 
储 空 间 。 当 分 析 沙 箱 中 的 某 一 个 数据 集 已 经 几 个 月 没有 被 查询 过 时 ， 那 
么 默认 选项 就 是 把 这 个 数据 集 删 除 。 沙 箱 不 应 该 像 传 统 环境 那样 不 断 地 
生成 新 的 数据 。 

我 曾经 见 过 这 种 场景 ， 企 业 总 共 拥 有 5TB 数 据 ， 但 分 析 环 境 里 的 数 
据 达 到 了 30TB 一 50TB。 原 因 是 每 一 个 分 析 专 家 都 会 建立 自己 的 一 份 备 
份 数据 ， 包 含 企 业 5TB 数 据 中 的 大 部 分 信息 。 分 析 专 家 甚至 在 不 同 的 项 
目 里 建立 了 不 同 的 备份 数据 。 这 带 来 了 数据 的 大 量 重 复 与 见 余 。 这 种 情 
况 不 应 该 在 分 析 沙 箱 中 出 现 。 在 分 析 沙 箱 里 ， 除 非 有 为 特定 目的 保留 数 
据 的 要 求 ， 否 则 数据 都 会 被 删除 。 




















对 于 内 部 分 析 沙 箱 ， 当 进行 了 越 来 越 多 的 分 析 ， 沙 箱 和 生产 环境 之 
闻 的 资源 分 配 与 系统 负载 会 发 生变 化 ， 这 是 可 以 接受 的 。 如 采 沙 箱 环境 
部 闭 在 独立 的 平台 上 ， 那 些 导致 系统 资源 溢出 的 分 析 任 务 束 可 以 被 发 现 
并 承担 相应 的 贡 任 。 容 量规 划 需 要 在 开始 的 时 候 进行 讨论 ， 但 是 分 析 沙 
箱 的 容量 规划 与 其 他 系统 一 样 ， 并 没有 什么 特别 。 分 析 沙 箱 会 给 系统 带 
来 新 的 任务 ， 而 系统 管理 员 们 知道 如 何 来 管理 这 些 任务 。 











题 履 你 的 币 识 ! 

分 析 沙 箱 可 以 在 不 增加 投资 的 情况 下 ， 从 现 有 的 投资 中 获得 额外 的 收益 。 建 设 沙 箱 并 不 一 定 
就 要 购买 新 设备 。 沙 箱 也 不 一 定 会 给 其 他 工作 任务 带 来 麻烦 。 它 能 从 现 有 的 IT 投资 中 获得 更 多 
的 价值 ， 而 且 可 以 没有 任何 负面 影响 ! 一 旦 你 理解 了 分 析 沙 箱 ， 明 白 了 它 的 工作 原理 ， 你 就 会 
发 现 ， 许 多 人 都 信以为真 的 事情 ， 而 事实 却 刚好 相反 ! 
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对 于 沙 箱 还 有 一 个 常见 的 误解 。 人 们 常常 认为 ， 分 析 沙 箱 将 “ 挫 
驱 ? 系 统 ， 把 现 有 系统 的 资源 全 部 耗 光 ， 给 系统 带 来 一 系列 的 破坏 。 这 
完全 是 错误 的 ! 事实 上 ， 大 型 分 析 任 务 通常 只 是 在 项 目 初 期 执行 1 次 或 2 
次 ， 这 些 任务 也 不 会 重复 性 地 执行 。 你 可 以 轻易 把 这 些 大 型 任务 调度 到 
半夜 执行 ， 而 半夜 的 系统 资源 通 种 很 充足 。 仅 仅 因 为 分 析 沙 箱 偶 尔 可 能 
耗 光 系 统 资源 而 反对 使 用 沙 箱 ， 并 把 沙 箱 推 癌 绝 境 ， 这 往往 会 带 来 相反 
的 效果 。 沙 箱 中 的 分 析 完 全 可 以 只 使 用 那些 有 内置 的 系统 资源 。 这 意味 着 
不 增加 任何 成 本 就 能 从 现 有 IT 投资 中 获得 更 大 的 回报 ! 这 是 一 件 多 么 美 
好 的 事情 啊 ! 

最 后 的 一 个 观点 是 ， 在 包含 沙 箱 的 环境 中 增加 分 析 内 容 ， 系 统 容量 
并 不 一 定 要 随 之 扩大 。 如 果 一 个 系统 今天 的 使 用 率 是 95% 或 9%， 那 么 
在 这 个 系统 上 增加 分 析 沙 箱 ， 确 实 需 要 进行 升级 扩容 ， 但 这 并 不 是 分 析 
沙 箱 造成 的 。 事 实 上 ， 这 个 系统 的 负载 已 经 如 此 繁重 ,添加 任何 新 应 用 
和 功能 都 不 得 不 进行 扩容 。 如 宁 使 用 己 有 的 旧 设备 来 构建 外 部 沙 箱 ， 不 














仅 没有 新 增 任何 成 本 ， 还 可 以 从 这 些 被 丢弃 的 无 价值 设备 中 获得 新 的 价 
值 。 


5.2 什么 是 分 析 数 据 集 


分 析 数 据 集 (Analytic Data Set，ADS) 是 为 了 支持 某 个 分 析 或 模型 
而 汇集 在 一 起 的 数据 ， 且 它 的 数据 格式 满足 特定 分 析 的 要 求 。ADS 可 以 
通过 数据 的 转换 、 聚 合 、 合 并 等 过 程 生成 。 它 通 第 会 按照 一 个 逆 规 范 化 
或 者 局 平 文件 的 结构 来 设计 。 这 种 结构 下 ， 每 一 行 数据 都 描述 了 一 个 分 
析 实 体 ， 如 客户 、 地 域 或 产品 。 分 析 数 据 集 有 益 于 绥 解 数据 的 高 效 存储 
和 方便 使 用 间 的 矛盾 。 

关系 型 数据 库 的 大 部 分 数据 都 使 用 “第 三 范式 ”的 模式 进行 存储 。 这 
种 模式 避免 了 数据 元 余 ， 同 时 使 得 数据 和 查询 更 复杂 。 第 三 范式 的 表 结 构 
非常 适合 保存 或 恢复 数据 ， 但 是 这 些 表 通 常 很 难 直 接 用 于 高 级 分 析 。 对 
第 三 范式 的 深入 解读 不 在 本 书 范围 中 。 重 点 是 ， 分 析 工 具 通 常 要 求 数据 
是 简单 的 、 非 规格 化 的 、 局 平 文件 的 格式 。 高 级 分 析 的 复杂 精细 体现 在 
分 析 中 数据 所 用 的 算法 和 方法 上 ， 而 不 是 数据 结构 本 里。 这 些 数 据 集 可 
以 有 多 种 形式 ， 我 们 随后 会 进行 讨论 。 


5.2.1 两 种 分 析 数 据 集 
目前 主要 有 两 种 分 析 数 据 集 ， 如 图 5-5 所 示 。 




















生产 分 析 数据 集 





抽取 、 汇 总 、 结 合 与 转换 ……. 





图 5-5 开发 分 析 数 据 集 与 生产 分 析 数 据 集 

开发 分 析 数 据 集 是 支持 分 析 任 务 的 ADS。 它 拥有 解决 问题 可 能 需要 
的 全 部 变量 ， 所 以 它 会 非 第 宫 。 开 发 分 析 数 据 集 可 能 会 拥有 几 百 个 甚至 
上 于 个 的 变量 和 指标 。 不 过 开 及 分 析 数 据 集 通常 比较 浅 ， 数 据 行 不 多 ， 
因为 大 部 分 的 分 析 都 会 使 用 抽样 数据 ， 而 不 是 全 量 数据 。 这 使 得 开发 分 
析 数 据 集 很 锅 ， 但 不 会 很 深 。 

生产 分 析 数 据 集 刚 好 相反 。 它 通常 用 于 各 种 评分 与 模型 部 署 。 它 只 
含 最 终 解决 方案 必需 的 特定 数据 。 通 常 ， 大 部 分 解决 方案 只 会 使 用 开 
发 分 析 数 据 集 中 的 部 分 变量 。 最 大 的 区 别 在 于 ， 评 分 过 程 一 定 是 针对 所 
有 实体 进行 的 ， 而 不 会 只 针对 样本 数据 。 每 一 个 客户 、 每 一 个 地 域 、 每 
一 个 产品 都 必须 得 到 评分 。 所 以 生产 数据 集 不 宽 ， 但 一 定 会 很 深 。 
例如 ， 在 开发 一 个 客户 模型 时 ， 分 析 专 家 可 能 要 研究 500 个 不 同 的 属 
性 ， 分 析 的 是 从 整体 客户 中 抽取 的 10 万 个 客户 。 因 此 ， 开 发 分 析 数 据 集 
很 宽 但 比较 浅 。 在 生产 过 程 中 对 客户 应 用 评分 模型 时 ， 可 能 只 需要 使 用 
其 中 12 个 属性 ， 但 需要 对 全 部 3000 万 个 客户 进行 计算 。 所 以 ， 生 产 分 析 
数据 集 很 罕 但 比较 深 。 






































5.2.2 ”传统 的 分 析 数 据 集 


在 一 个 传统 环境 下 ， 所 有 的 分 析 数 据 都 在 数据 库 外 部 创建 ， 如 图 5-6 
所 示 。 每 一 个 分 析 专 家 都 会 独立 地 创建 自己 的 分 析 数 据 集 。 更 糟糕 的 
是 ， 这 些 工作 是 由 每 一 个 分 析 专 家 独立 完成 的 ， 这 意味 着 可 能 会 有 几 百 
个 人 同时 在 创建 不 同 的 企业 数据 视图 。 更 糟糕 的 事情 是 ， 一 个 ADS 通 名 
只 服务 于 一 个 项 目 ， 每 个 分 析 专 家 都 拥有 一 份 生产 数据 的 独立 副本 。 更 
严重 的 问题 是 ， 分 析 专 家 还 会 创建 新 的 数据 集 ， 导 致 每 个 项 目 最 终 都 会 
产生 大 量 的 数据 。 








传统 分 析 数 据 集 流程 : 
在 数据 库 外 为 每 个 项 目 生成 特定 的 ADS。 





图 5-6 ”传统 的 分 析 数 据 集 流程 


之 前 我 们 提 到 过 ， 东 坚 企业 分 析 环 境内 的 数据 是 其 企业 数据 规模 的 
10 倍 或 20 倍 。 如 条 企业 决定 升级 为 一 个 更 先进 、 更 大 可 扩展 性 的 分 析 流 








程 时 ， 肯 定 不 希望 保留 这 些 服务 于 不 同 用 户 和 模型 的 数据 副本 。 这 时 需 
要 一 个 变通 的 方法 ， 我 们 随后 会 谈 到 这 一 点 。 

传统 的 分 析 数 据 集 有 一 个 人 们 不 太 了 解 的 严重 问题 ， 那 就 是 数据 的 
不 一 致 。 也 许 ， 某 个 分 析 专 家 把 销售 收入 定义 为 销售 毛 收 入 减 去 折扣 与 


返点 。 同 一 时 间 ， 男 外 一 个 项 目 中 的 分 析 专 家 可 能 把 销售 收入 定义 为 销 
售 毛 收入 减 去 折扣 ， 没 有 减 去 返点 。 两 位 分 析 专 家 的 定义 有 一 些 差别 ， 
但 你 很 难说 谁 的 定义 是 错 的 。 如 果 他 们 俩 都 为 同一 个 业务 部 门 服务 ， 问 
题 就 出 现 了 ， 在 他 们 提供 给 业务 部 门 的 分 析 报 告 中 ， 数 据 是 不 一 致 的 ! 

传统 分 析 数 据 集 带 来 的 男 外 一 个 大 问题 是 重复 性 工作 。 如 果 分 析 专 
家 不 断 地 创建 相似 又 略 有 将 别 的 数据 集 ， 这 不 仅 会 占用 数据 存储 空间 和 
系统 资源 ， 还 会 耗费 分 析 专 家 的 时 间 。 他 们 不 得 不 创建 一 个 ADS 开 发 流 
程 ， 执 行 并 监控 这 些 任务 ， 以 确保 任务 顺利 完成 。 这 不 仅 耗 费 了 大 量 的 
时 间 ， 也 增加 了 所 有 项 目的 成 本 。 


数据 不 一 致 比 数据 元 余 的 危害 更 大 ! 

传统 分 析 数 据 集 的 工作 方式 确实 会 产生 大 量 的 数据 宛 余 ， 但 这 还 不 是 最 严重 的 问题 。 人 们 很 
容易 忽略 的 一 个 事实 是 ， 分 析 专 家 们 经 常 开发 略 有 差异 的 关键 指标 定义 。 这 会 带 来 数据 的 不 一 
致 。 这 个 现象 常 被 忽视 ， 甚 至 没 人 知道 。 










































































还 有 一 个 地 方 会 浪费 资源 与 精力 。 当 为 某 项 目 开 发 的 ADS 流 程 完成 
了 ， 工 作 才 刚刚 开始 。 为 了 让 ADS 流 程 在 生产 环境 中 执行 ， 分 析 专 家 需 
要 对 它 进行 反 向 工程 ， 并 备份 到 生产 环境 中 。 生 产 环境 和 开发 环境 总 是 
有 一 些 差别 的 ， 把 开发 环境 下 的 程序 迁移 到 生产 环境 下 ， 常 常 意味 着 重 
新 开发 整个 处 理 流程 。 例 如 ， 也 许 你 需要 把 分 析 工具 生成 的 代码 转化 成 
SQL 或 自 定 义 函数 CUDF) ， 这 通常 成 本 很 高 ， 还 极 易 出 错 。 有 些 企业 
在 部 署 分 析 方面 耗费 的 时 间 和 资金 比 前 期 开发 阶段 还 要 多 。 


5.3 ”企业 分 析 数 据 集 


我 们 将 讨论 如 何 通过 企业 分 析 数 据 集 (EADS) 来 优化 分 析 数 据 集 的 
创建 过 程 。 EADS 是 可 共 至 的 、 可 复 用 的 、 集 中 化 的 、 标 准 化 的 、 用 于 








分 析 的 数据 集 。 

EADS 做 的 事情 是 把 成 百 上 干 个 变量 汇总 到 某 些 数据 表 和 视图 内 。 这 
些 数 据 表 和 视图 可 供 分 析 专 家 、 不 同 应 用 、 不 同 用 户 来 共同 使 用 。 
EADS 的 结构 可 以 是 一 张大 宽 表 ， 也 可 以 是 关联 在 一 起 的 多 张 表 。 

EADS 有 利于 协作 ， 因 为 每 个 分 析 专 家 都 可 以 共享 同样 的 、 一 致 的 数 
据 。EADS 把 许多 维度 的 指标 汇集 起 来 让 分 析 专 家 直接 使 用 ， 这 人 简化 了 
数据 的 获取 过 程 。 分 析 专 家 们 再 也 不 需要 从 第 三 范式 的 原始 数据 表 里 创 
建 这 些 指标 了 。EADS 显 著 减 少 了 分 析 时 间 ， 开 发 完成 后 还 可 被 多 次 使 
用 ， 如 图 5-7 所 示 。 


企业 分 析 数 据 集 流程 : 
集中 化 的 ADS 表 和 视图 被 不 同 项 目 同 时 使 用 。 





图 5-7 企业 分 析 数 据 集 流程 





EADS 最 重要 的 一 个 优点 是 保证 了 不 同 分 析 工 作 的 数据 一 致 性 ， 人 们 
最 初 往往 想不到 这 一 点 。 企 业 使 用 一 致 的 数据 进行 分 析 ， 这 意味 着 不 同 
分 析 主 题 所 使 用 的 指标 都 是 按 相 同 指标 计算 出 来 的 ， 这 让 用 户 很 放心 。 
恰当 地 使 用 企业 分 析 数 据 集 ， 项 目 准 备 时 间 能 从 总 项 目 时 间 的 60% 一 
80%% 降 低 到 一 个 比较 低 的 水 平 ， 甚 至 降低 为 原来 时 间 的 20% 一 30% 。 企 
业 分 析 数 据 集 的 关键 特性 包括 以 下 几 点 。 

四” 一 个 标准 数据 视图 可 以 文 持 不 同 的 分 析 任 务 。 

四 ”一 种 能 显著 加 快 数据 准备 过 程 的 方法 。 

四。 一 种 为 分 析 流 程 提供 了 更 高 一 致 性 、 更 精确 、 更 具 可 视 性 的 数据 
的 记 武 。 

四 除了 使 用 高 级 分 析 流 程 之 外 ， 一 种 帮助 应 用 程序 和 分 析 专 家 开局 
新 视图 的 方式 。 

四 可 以 让 分 析 专 家 专注 于 分 析 本 喘 。 


5.3.1 什么 时 候 创建 企业 分 析 数 据 集 


假如 你 要 在 某 一 个 业务 领域 做 大 量 的 分 析 ， 且 分 析 还 会 越 来 越 多 ， 
那么 你 就 应 该 创建 企业 分 析 数 据 集 。 你 可 以 在 你 专注 的 分 析 领 域 为 任何 
实体 创建 EADS， 包 括 客 户 、 产 品 、 区 域 、 雇 员 以 及 供应 商 等 。 任 何 需 
要 定期 分 析 的 实体 都 是 EADS 潜 在 的 创建 目标 。EADS 会 随 着 时 间 变 
化 。 如 果 接 入 一 个 新 的 大 数据 源 ， 包 含 新 信息 的 属性 和 指标 就 可 以 添加 
到 EADS 中 。 

创建 企业 分 析 数 据 集 需 要 时 间 与 成 本 。 不 要 被 这 些 吓 到 ! 要 知道 企 
业 分 析 数 据 集 可 以 帮助 企业 节省 大 量 工 作 时 间 与 设备 成 本 ， 节 约 的 成 本 
将 远 远 超过 创建 的 成 本 。 第 6 章 中 的 简易 建 模 理 念 就 是 一 个 实例 ， 如 果 
没有 EADS， 就 很 难 实现 快速 建 模 所 需 的 敏捷 分 析 。 

创建 一 个 有 效 的 企业 分 析 数 据 集 ， 需 要 路 职能 、 跨 领域 的 团队 协 








作 。 籽 务 团队 要 定义 业务 分 析 所 需 的 各 类 指标 ， 分 析 团 队 要 开发 处 理 程 
序 来 生成 这 些 数据 ，IT 团 队 则 需要 维护 企业 分 析 数 据 集 架 构 ， 并 在 生产 
环境 下 部 普 并 执行 数据 处 理 任务 。 只 有 三 方 共同 努力 才能 最 大 化 EADS 
的 价值 。 下 一 市 我 们 会 更 深入 地 讨论 这 个 协作 过 程 。 


5.3.2 ”企业 分 析 数 据 集 里 有 什么 


企业 分 析 数 据 集 的 设计 并 不 复 傈 。 首 先 ， 要 收集 并 汇总 各 个 分 析 专 
家 常用 的 各 种 属性 和 指标 。 如 果 录 一 个 业务 指标 有 多 种 定义 ， 最 好 把 它 
们 全 部 合并 。 例 如 ， 也 许 有 些 分 析 专 家 使 用 总 销售 收入 减 去 折扣 与 返 
扩 ， 有 些 分 析 专 家 使 用 总 销售 收入 减 去 折扣 ， 不 减 去 返点 。 把 这 两 种 销 
售 收 入 指标 都 包含 在 EADS 内 ， 没 有 必要 只 选择 其 中 一 种 。 随 着 时 间 推 
移 ， 如 果 发 现 了 新 的 关键 指标 ， 那 束 将 它 加 入 EADS 内 。 企 业 分 析 数 据 
集 一 直 在 不 断 地 变化 。 最 初 EADS 也 许 只 有 一 两 个 指标 ， 但 随后 越 来 越 
多 的 指标 会 被 添加 进来 。 


全 部 选中 ! 

很 多 时 候 ， 当 你 作出 选择 时 ， 你 很 难 有 机 会 说 “我 全 要 了 ”。 企 业 分 析 数 据 集 就 给 了 你 这 种 机 
会 。 把 每 一 种 指标 都 包含 进来 ， 这 样 可 以 窗 盖 所 有 的 需求 。 添 加 一 个 新 指标 并 不 会 耗 颖 你 太 多 
的 资源 。 不 要 争论 哪个 指标 更 准确 更 合适 ， 全 部 选 上 吧 ， 不 管 哪个 指标 最 终 启 了 ， 你 都 有 相应 
的 数据 。 



















































































企业 分 析 数 据 集 通常 不 会 包含 分 析 专 家 所 需 的 全 部 数据 ， 理 解 这 一 
点 非常 重要 。 通 常情 况 下 ，EADS 可 以 提供 90% 左 右 的 数据 ， 每 一 个 项 
目 都 需要 一 些 自 定义 的 、 不 经 常 使 用 的 指标 ， 这 些 指标 通常 没有 包含 在 
EADS 中 ， 这 并 不 是 问题 。 

例如 ， 某 一 个 分 析 专 家 研究 节假日 哪些 产品 卖 得 最 好 。 这 项 分 析 只 
会 研究 少数 特定 产品 。EADS 中 的 数据 可 能 是 这 些 畅 销 产 品 按 类 别 汇总 

















的 销售 指标 。 对 单个 产品 进行 分 析 并 不 是 常见 的 需求 ， 所 以 单个 产品 的 
指标 就 不 应 该 加 入 EADS 中 。 

企业 分 析 数 据 集 能 满足 分 析 专 家 80% 一 90%% 的 数据 需求 ， 分 析 专 家 
可 以 把 重点 放 在 剩 下 10%% 一 20%% 的 个 性 化 数据 上 。 分 析 专 家 也 可 以 复 用 
EADS 的 数据 生成 程序 和 处 理 逻 辑 。 随 着 时 间 推 移 ， 分 析 专 家 也 许 又 发 
现 了 一 些 新 的 数据 指标 ， 这 些 数据 需要 保持 一 致 并 要 重复 地 生成 。 如 果 
出 现 了 这 种 情况 ， 把 这 些 新 指标 加 入 EADS。 这 要 需要 建立 一 个 管理 流 
程 来 处 理 这 些 新 加 入 的 指标 。 


5.3.3 ”逻辑 结构 与 物理 结构 


之 前 我 们 讨论 过 ， 企 业 分 析 数 据 集 逻辑 上 是 每 个 实体 拥有 一 行 数 
据 ， 包 括 了 该 实体 的 十 几 个 、 几 百 个 甚至 上 干 个 属性 和 变量 。 如 果 你 熟 
悉 那些 “ 老 派 ”的 忆 平 文件 ， 你 就 会 用 现 这 两 者 有 些 相似 。 从 物理 结构 上 


看 ， 如 图 5-8 所 示 ，EADS 的 存储 格式 也 许 并 不 像 我 们 刚才 描述 的 那样 。 
EADS 逻 辑 视图 


客户 ADS 表 





EADS 物 理 视 图 
客户 销售 表 客户 人 口 统计 信息 表 


总 销售 总 销售 二 
客户 直 邮 营销 历史 表 
客户 邮件 反馈 | 邮件 发 送 
次 数 次 数 
图 5-8 ”EADS 的 逻辑 视图 与 物理 视图 


从 逻辑 上 来 看 ， 一 个 围绕 客户 实体 的 EADS 包 含 了 客户 的 销售 信息 、 




















人 口 统计 信息 以 及 直 邮 营销 的 反馈 信息 。 但 在 物理 上 ， 这 些 信息 可 能 保 
存在 不 同 表 中 ， 也 许 茶 张 表 保存 了 销售 信息 ， 必 一 张 表 保 存 了 人 口 统计 
言 轧 ， 还 有 一 张 表 保存 了 直 邮 营销 反馈 信息 。 

用 户 不 需要 担心 这 种 现象 ， 只 要 有 正确 的 属性 和 指标 ， 管 理 数据 库 
的 人 目 然 会 找到 最 合适 的 方式 来 保存 这 些 数据 。 然 后 ， 人 们 会 建立 一 个 
视图 来 帮助 用 户 从 这 些 物理 表 中 找到 上 自己 想 要 的 数据 。 


5.3.4 ”更 新 企业 分 析 数 据 集 


把 EADS 保 存在 不 同 物理 表 中 的 主要 原因 是 由 于 数据 更 新 。 不 同类 型 
的 数据 ， 如 调研 数据 、 销 售 数据 、 人 口 统计 信息 等 ， 都 有 不 同 的 数据 更 
新 闻 期 。 也 许 销售 收入 类 数据 需要 每 天 更 新 ， 人 口 统计 类 数据 每 季度 更 
新 一 次 ， 调 研 数 据 则 一 旦 获得 了 新 数据 束 需 要 更 新 。 当 完成 了 新 的 市 场 
调研 活动 ， 调 研 数 据 就 需要 导入 进来 ， 之 后 就 不 用 更 新 了 。 

这 就 是 把 不 同 的 数据 存储 在 不 同 物理 表 的 原因 ， 可 以 对 每 类 数据 进 
行 独立 的 数据 更 新 。 把 数据 存储 在 一 张大 型 表格 中 ， 每 次 只 更 新 大 表 里 
的 部 分 数据 ， 这 种 方式 会 耗费 更 多 的 系统 资源 。 此 外 ， 通 过 这 些 独立 的 
表 或 视 网 ， 分 析 专 家 也 更 容易 获得 所 需要 的 特定 数据 。 最 后 ， 不 少数 据 
库 都 限制 了 一 张 表 内 列 的 数量 。 对 一 个 大 型 的 企业 分 析 数 据 集 来 说 ， 仅 
仅 为 了 符合 列 数 的 限制 ， 就 不 得 不 把 数据 分 布 到 不 同 表 中 。 

请 注意 ， 不 管 EFADS 物 理 上 是 怎样 存储 的 ， 通 过 视图 就 能 把 各 个 表 里 
的 数据 汇集 起 来 供 人 使 用 。 可 以 建立 一 个 包含 销售 收入 与 调研 信息 的 视 
图 ， 另 外 一 个 视图 包含 调研 与 人 口 统计 信息 ， 然 后 第 三 个 视图 包含 全 部 
言 思 。 如 果 系 统 导 入 了 新 的 数据 源 ， 例 如 社交 网 络 数据 或 网 络 数据 ， 基 
于 这 些 新 数据 源 开发 的 属性 和 指标 也 会 加 入 到 企业 分 析 数 据 集 中 。 添 加 
新 数据 的 方式 可 以 是 对 视图 进行 更 新 ， 也 可 以 是 其 他 方式 。 












































5.3.5 ”汇总 表 还 是 概要 视图 











分 析 数 据 集 的 一 种 实现 方式 是 建立 一 个 汇总 表 ， 汇 总 表 按 时 间 表 定 
期 更 新 。 这 些 以 汇总 表 为 基础 的 企业 分 析 数 据 集 有 以 下 好 处 。 

首先 ， 你 实现 了 真正 意义 上 的 “计算 一 次 ， 多 次 使 用 ”。 分 析 专 家 所 
造成 的 系统 资源 负载 会 少 一 些 ， 因 为 这 种 方式 避免 了 分 析 专 家 重复 执行 
多 表 之 间 的 关联 聚合 操作 。 关 联 和 聚合 这 些 大 型 的 表 只 需要 批 处 理 一 
次 ， 其 结果 就 可 以 被 所 有 人 共同 使 用 。 

其 次 ， 许 多 高 级 分 析 会 大 量 使 用 历史 数据 ， 东 一 部 分 数据 稍微 “过 
时 ?不 会 造成 很 大 的 影响 ， 例 如 ， 企 业 也 许 每 天 夜里 或 仅 每 周一 次 对 销 
售 数据 进行 更 新 。 对 于 大 多 数 高 级 分 析 项 目 来 说 ， 这 是 可 以 接受 的 。 许 
多 指标 都 是 累加 值 ， 茶 一 次 数据 对 指标 不 会 有 很 大 的 影响 。 例 如 ， 使 用 
一 年 数据 来 计算 客户 平均 的 单 次 购买 量 ， 这 个 指标 不 会 因为 今天 的 销售 
数据 没 计 入 计算 过 程 就 发 生 了 巨大 的 改变 。 

最 后 ， 分 析 专 家 可 以 很 快 地 获取 他 们 想 要 的 数据 。EADS 表 已 经 建立 
好 了 ， 分 析 专 家 下 接 使 用 就 可 以 了 ， 不 需要 运行 复杂 的 查询 语句 ， 这 些 
数据 直接 就 可 以 进行 分 析 。 

以 汇总 表 为 基础 的 分 析 数 据 集 也 存在 一 些 缺 点 。 首 先 ， 分 析 数 据 集 
中 的 表格 通常 不 会 包含 最 新 的 数据 。 其 次 ，EADS 会 占用 系统 的 磁盘 空 
间 ， 占 用 比例 还 有 可 能 很 高 。 最 后 ， 需 要 建立 针对 不 同 数据 内 容 的 数据 
更 新 计划 和 执行 方案 。 

第 二 种 实现 方式 是 建立 一 系列 的 概要 视图 来 实时 生成 EADS。 它 有 不 
少 优点 : 首先 ， 企 业 分 析 数 据 集 里 的 数据 永远 是 最 新 的 。 其 次 ， 如 果实 
时 或 者 准 实 时 分 析 很 重要 ， 那 么 把 最 新 的 数据 提供 给 分 析 专 家 就 非常 天 
键 。 最 后 ， 企 业 数 据 集 的 任何 更 新 都 能 快速 完成 ， 当 视图 一 旦 更 新 完 
成 ， 使 用 视图 的 所 有 用 户 就 能 立刻 得 到 更 新 过 的 最 新 数据 。 


只 做 需要 做 的 事情 


要 决定 以 什么 样 的 频率 来 更 新 企业 分 析 数 据 集 。 你 也 需要 决定 ， 是 以 物理 表 、 逻 辑 视图 
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人 小 








是 同时 使 用 两 种 方式 来 存储 你 的 EADS。 根 据 事实 来 做 决定 ， 收 集 到 的 需求 会 告诉 你 哪 条 路 
更 合适 你 。 许 多 情况 下 表 和 视图 都 会 同时 存在 。 














视图 类 型 的 EADS 同 样 也 存在 缺点 。 首 先 ， 系 统 负载 会 加 重 。 这 是 因 
为 ， 每 个 视图 部 会 有 很 多 分 析 专 家 来 使 用 ， 而 每 一 次 使 用 都 需要 重新 运 
行 视 图 的 处 理 逻 辑 ， 这 会 带 来 更 多 的 系统 负载 。 其 次 ， 这 也 确保 了 计算 
结 末 的 一 致 性 和 透明 度 。 最 后 ， 因 为 数据 没有 提前 准备 好 ， 而 是 根据 指 
令 从 最 新 细 市 数据 中 计算 生成 ， 因 此 分 析 专 家 将 需要 等 得 更 长 的 时 间 。 

在 许多 情况 下 ， 在 EADS 结 构 中 同时 使 用 表 和 视图 是 合理 的 。 有 些 数 
据 也 许 必须 使 用 最 新 的 数据 ， 男 外 的 一 些 数据 对 时 限 性 要 求 没 那么 融 。 
不 同 数据 源 适 合 不 同 的 方式 。 使 用 汇总 表 还 是 概要 视图 需要 基于 分 析 需 
求 、 性 能 要 求 和 存储 空间 的 限制 。 

使 用 汇总 表 时 需要 对 存储 空间 进行 限制 。 不 要 使 用 存储 比例 或 其 他 
类 似 的 指标 ， 而 是 使 用 基于 物理 表 的 视图 来 进行 计算 。 例 如 ，EADS 里 
有 忌 销 售 收 入 与 交易 次 数 ， 那 么 就 没有 必要 储存 平均 每 次 交易 的 收入 这 
个 指标 。 建 立 一 个 视图 ， 把 总 的 销售 收入 除 以 交易 次 数 ， 融 获得 了 想 要 
的 指标 ， 这 只 会 消耗 很 少量 的 系统 资源 ， 但 是 却 能 市 省 大 量 存储 空间 。 























5.3.6 “分享 财富 


当 企 业 级 分 析 数 据 集 部 署 好 时 ， 企 业 应 该 尽量 多 使 用 这 些 数据 。 
EADS 不 应 该 只 被 分 析 专 家 使 用 。 商 业 智 能 和 报表 环境 ， 以 及 这 些 环 境 
的 用 户 ， 没 有 任何 理由 不 使 用 EADS。 如 果 EADS 已 经 开发 好 了 可 用 的 
属性 与 指标 ， 为 什么 还 在 要 报表 环境 里 开发 处 理 逻 辑 来 重复 计算 呢 ? 

类 似 地 ， 所 有 能 从 EADS 数 据 中 获得 好 处 的 应 用 都 应 该 考虑 使 用 
EADS。 一 个 常见 例子 是 客户 关系 管理 系统 (CRM) ， 其 使 用 客户 域 的 
EADS 来 加 快 客户 细 分 的 分 析 流 程 。EADS 内 的 客户 信息 可 以 直接 被 
CRM 使 用 ，CRM 用 户 可 以 直接 使 用 EADS 的 客户 属性 来 选择 客户 群体 ， 











而 不 需要 在 CRM 工 具 中 重新 进行 计算 。 必 一 个 例子 是 ， 使 用 了 客户 
EADS 的 呼叫 中 心 可 以 为 呼叫 中 心 客服 人 员 提 供用 户 的 各 项 指标 。 当 客 
忆 打 入 电话 时 ， 呼 叫 中 心 客服 人 员 的 电脑 屏 磋 上 会 显示 客户 的 大 量 信 
恩 。 这 些 信 息 ， 如 最 近 的 交易 行为 ， 可 以 帮助 客服 人 员 选 择 如 何 更 好 地 
处 理 呼叫 。 

重要 的 是 ，EADS 有 大 量 有 价值 的 信息 ， 可 以 避免 不 必要 的 工作 ， 显 
赦 地 提高 规范 性 与 透明 性 ， 并 确保 数据 一 致 性 。EADS 还 提供 了 更 快 的 
分 析 速 度 与 更 大 的 分 析 可 扩展 性 。 同 样 重要 的 还 有 ，EADS 给 其 他 用 户 
和 应 用 提供 了 获取 客户 信息 的 简易 方式 ， 这 些 用 户 和 应 用 也 许 无 法 通过 
其 他 方式 来 获得 类 似 的 信息 。 











5.4 般 入 式 评分 


当 建 立 分 析 沙 箱 并 实施 企业 分 析 数 据 集 后 ， 企 业 可 以 更 快 、 更 高 一 
致 性 地 开发 分 析 流 程 和 模型 。 分 析 流 程 的 扩展 性 也 得 到 了 提高 。 下 一 步 
古 什么 ? 这 些 新 的 分 析 流 程 带 来 的 价值 如 何 把 企业 带 到 一 个 更 高 的 层 
次 ? 一 种 方式 是 通过 身 入 式 评分 过 程 实现 分 析 结 果 的 广泛 应 用 。 

租 入 式 评分 能 在 数据 库 内 定期 地 执行 评分 过 程 ， 让 用 户 更 加 局 效 、 
更 加 方便 地 使 用 模型 。 一 个 成 功 的 租 入 式 评 分 ， 不仅 包 仿 部署 每 一 个 独 
立 的 评分 过 程 ， 还 包括 建立 一 个 机 制 来 管理 和 监控 这 些 评分 过 程 。 请 注 
意 ,， “评分 结果 ”可 以 来 自 于 一 个 预测 模型 ， 也 可 以 是 分 析 模 型 其 他 类 型 
的 输出 。 

回顾 一 下 之 前 谈 到 的 内 容 ， 分 析 流 程 会 最 终 产 生 新 的 信息 。 例 如 ， 
客户 购买 茶 一 种 产品 的 概率 ， 某 个 产品 的 最 优 价格 ， 或 者 在 促销 活动 中 
能 融 来 销量 提升 的 区 域 。 把 开发 好 的 分 析 模 型 应 用 于 最 新 数据 ， 这 就 是 
评分 。 例 如 ， 在 决定 给 哪些 用 户 发 电子 邮件 前 ， 需 要 使 用 最 新 的 数据 对 
客户 有 多 大 的 可 能 性 参加 这 次 活动 进行 评分 。 把 评分 过 程 风 入 在 数据 库 





环境 中 能 带 来 一 系列 的 好 处 ， 接 下 来 我 们 逐个 讨论 这 些 好 处 。 

首先 ， 批 处 理 形式 的 评分 过 程 可 以 根据 需求 运行 。 当 按 计 划 完 成 了 
对 一 系列 评分 结果 的 更 新 后 ， 用 户 想 使 用 数据 时 ， 就 可 以 直接 使 用 这 些 
数据 。 例 如 ， 邮 件 列表 一 旦 创建 完成 ， 系 统 束 会 自动 开始 对 列表 内 的 客 
户 进 行 评分 : 

其 次 ， 奶 入 式 评 分 可 以 用 于 实时 评分 。 这 对 于 菏 些 场景 特别 重要 ， 
如 网 页 推荐 。 如 果 东 人 登录 了 这 个 网 页 ， 系 统 必 须 立 刻 基 于 现 有 的 信 
恩 ， 例 如 他 在 这 个 网 页 上 做 了 什么 等 ， 对 他 进行 评分 ， 然 后 在 他 浏览 
一 个 网 页 时 ， 为 他 提供 最 合适 的 促销 方案 。 类 似 地 ， 当 客户 通过 电话 与 
呼叫 中 心 的 客服 人 员 进 行 交 流 时 ， 客 服 人 员 会 将 刚刚 了 解 到 的 一 些 客户 
言 息 输 入 系统 ， 系 统 利用 这 些 信息 立刻 完成 对 客户 的 评分 ， 这 样 ， 客 户 
服 人 员 才 知道 下 一 步 要 跟 客户 说 什么 。 

再 次 ， 磐 入 陈 评分 为 用 户 屏蔽 了 模型 的 复杂 度 。 不 管 是 用 户 还 是 应 
用 ， 都 可 以 轻易 得 到 评分 结 宁 。 系 统 会 处 理 这 些 复杂 运算 ， 因 此 明 入 陈 
评分 使 得 技术 背景 不 强 的 用 户 更 容易 理解 评分 结 

最 后 ， 肉 入 式 评分 把 模型 集中 到 了 一 个 地 方 。 模 型 列表 和 评分 结果 
通过 一 个 模型 管理 流程 来 进行 集中 管理 ， 监 控 跟 躁 这些 模 型 的 创建 过 程 
就 更 方便 了 。 分 析 专 家 不 再 需要 在 企业 的 不 同 地 方 保存 并 执行 这 些 自己 
创建 的 模型 了 。 相 反 地 ， 为 了 扩大 使 用 范围 ， 这 些 模型 将 被 集中 地 管理 
和 部 普 。 


5.4.1 般 入 式 评 分 集成 


当 瞬 入 式 评分 过 程 部 普 完 成 了 ， 生 成 的 评分 结果 束 可 以 被 各 个 用 户 
与 应 用 使 用 了 了。 例如，CRM 应 用 选择 了 一 个 客户 分 类 ， 束 可 以 获得 客 
户 倾 回 的 评分 结果 。CRM 用 户 要 做 的 事情 是 ， 简 单 地 单 击 CRM 工 具 获 
得 客户 评分 。 运 营 类 应 用 也 可 以 使 用 这 些 评分 结果 。 例 如 ， 模 型 根据 历 
































史 销 售 情况 预测 某 些 商品 可 能 要 断 货 脱销 ， 一 旦 发 现 这 种 高 风险 现象 ， 
系统 立刻 给 本 地 经 理发 出 提醒 。 类 似 的 例子 是 航空 公司 建立 对 天 和 气 状 况 
的 评分 模型 来 预测 航班 的 延误 概率 。 预 测 结果 会 根据 航班 定期 更 新 ， 并 
发 送 给 监控 和 处 理 延 误 任 务 的 应 用 。 任 何 用 户 都 可 以 通过 即席 查询 (ad 
hoc) 来 直接 获取 评分 结果 。 


分 析 结 果 必 须 用 来 创造 价值 

要 从 分 析 中 获得 价值 ， 企 业 就 必须 使 用 分 析 成 果 。 如 果 不 能 方便 地 使 用 分 析 成 果 ， 企 业 将 天 
法 从 分 析 中 获得 应 有 的 价值 。 霸 入 式 评分 过 程 对 于 提高 易 用 性 极为 重要 ， 它 使 得 更 大 范围 的 用 
户 和 应 用 可 以 使 用 这 些 评分 结果 。 







































































在 第 4 章 中 ， 我 们 讨论 过 多 种 并 行 数 据 库 系统 的 应 用 方案 。 同 样 的 理 
念 也 适用 于 绕 入 式 评 分 过 程 。 

上 四 SQL， 作 为 最 广泛 使 用 的 数据 库 语 言 ， 是 第 一 种 方案 。 这 种 方案 
特别 适合 决策 树 、 线 性 回归 、 逻 辑 回 归 等 模型 。 甚 至 使 用 SQL 手动 编写 
一 个 评分 程序 来 执行 这 些 模 型 也 是 非常 简单 的 。 

四 用户 上 自 定义 函数 CUDF) 让 事情 更 有 趣 了 ， 它 把 定期 评分 过 程 舱 
入 到 数据 库 中 ， 作 为 数据 库 的 自由 函数 执行 。 

四 ”预测 建 模 标记 语言 (PMML ) 可 以 在 一 个 系统 内 开发 模型 ， 然 后 
把 模型 部 署 到 另外 一 个 系统 。PMML 传 输 的 信息 可 以 确保 接收 模型 的 新 
系统 自动 地 生成 评分 结果 。 

四 最 后 ， 般 入 式 过 程 让 分 析 工 具 直 接 在 数据 库 内 运行 程序 ， 不 需要 
把 分 析 工 具 的 语言 转换 为 其 他 语言 。 

读者 可 以 回顾 第 4 章 来 了 解 这 4 种 方案 的 详细 内 容 。 在 这 里 进行 强调 
的 目的 是 ， 所 有 这 些 应 用 方案 同样 适用 于 和 伦 入 式 评分 过 程 。 

















5.4.2 ”模型 与 评分 管理 





要 管理 完成 开发 的 模型 与 分 析 流 程 ， 企 业 需 要 管理 4 个 主要 组 件 ， 如 
图 5-9 所 示 ， 包 括 输入 分 析 数 据 集 、 模 型 定义 、 模 型 验证 与 报表 制作 、 
模型 评分 输出 。 一 些 商 业 化 的 可 用 工具 可 以 用 于 模型 和 评分 的 管理 ， 也 
可 以 开发 客户 化 的 解决 方案 来 满足 企业 的 特定 需求 。 我 们 来 说 明 一 下 这 
4 个 组 件 。 





输入 
分 析 数 据 集 


模型 评分 
输出 





模型 验证 与 
报表 制作 


图 5-9 ”模型 与 评分 管理 组 件 

1. 输入 分 析 数 据 集 

有 必要 监控 那些 用 于 分 析 流 程 的 分 析 数 据 集 和 EADS， 监 控 的 信息 包 
括 数 据 集 的 各 类 细 市 信息 ， 以 及 创建 与 保存 数据 集 的 技术 细 市 。 模 型 与 
评分 管理 系统 的 这 个 组 件 会 管理 分 析 数 据 集 本 身 的 信息 。 请 注意 ， 这 些 
数据 集 可 以 是 企业 分 析 数 据 集 ， 也 可 以 是 个 性 化 的 数据 集 ， 或 者 两 者 的 
组 合 。 监 控 的 具体 信息 包括 以 下 几 项 。 

”提供 数据 给 用 户 的 各 类 数据 集 的 名 称 ， 包 括 SQL 肢 本、 数据 存储 
脚本 、UDEF、 藤 入 式 过 程 、 表 格 、 视 图 等 。 























四 ”运行 这 些 数 据 处 理 任务 的 参数 。 例 如 ， 某 个 分 析 也 许 只 针对 某 一 
时 间 范 围 或 有 限 的 几 类 产品 。 

图 ”数据 处 理 过 程 中 创建 的 输出 表 或 者 视图 ， 以 及 这 些 输出 包含 的 信 
息 。 

四 分析 数 据 集 与 分 析 流 程 之 间 的 关系 。 一 个 分 析 数 据 集 可 以 被 多 个 
分 析 流 程 使 用 ， 而 一 个 分 析 流 程 可 以 使 用 多 个 分 析 数 据 集 。 

2. 模型 定义 

有 必要 监控 每 一 个 模型 和 分 析 流 程 的 描述 信息 。 请 注意 ， 这 里 的 模 
型 可 以 是 一 个 预测 模型 ， 也 可 以 是 一 个 分 析 流 程 ， 如 客户 按 销 售 收入 从 
高 到 低 的 排序 ， 这 些 模型 需要 定期 更 新 并 被 广泛 使 用 。 模 型 或 分 析 流 程 
在 创建 时 需要 到 模型 管理 系统 进行 注册 。 监 控 的 具体 信息 包括 以 下 几 
项 。 

四。 模型 的 使 用 目的 。 模 型 解决 的 业务 问题 是 什么 ? 使 用 模型 的 业务 
场景 是 什么 ? 

四 ”模型 的 历史 。 什 么 时 候 创 建 的 ? 谁 创 建 的 ?模型 经 历 了 几 个 版 
本 ? 

四 ”模型 的 状态 。 它 是 处 于 开发 阶段 么 ? 正在 生产 环境 下 使 用 ， 还 是 
已 经 退出 了 ? 

四 ”模型 的 类 型 。 模 型 使 用 了 什么 算法 ? 开发 方案 是 什么 ? 

四 ”模型 的 评分 功能 。 那 些 能 给 出 评分 结果 的 程序 名 称 是 什么 ? 包括 
SQL 脚本 、 存 储 过 程 、UDF、 磐 入 了 式 过 程 。 请 注意 ， 假 设 这 里 的 评分 功 
能 可 以 获得 所 需 的 任何 数据 集 。 

四 ”模型 的 输入 变量 信息 。 输 入 的 分 析 数 据 集 里 ， 哪 些 变 量 被 模型 使 
用 了 ? 模型 使 用 了 一 个 还 是 多 个 分 析 数 据 集 ? 

3. 模型 验证 与 报表 制作 

通 第 还 需要 建立 一 套 模 型 验证 与 报表 来 帮助 管理 模型 和 分 析 流 程 。 
这 些 报表 获 盖 了 很 多 主题 和 目标 。 监 控 的 具体 信息 包括 以 下 几 项 。 


























四 ”评分 过 程 的 特定 执行 过 程 与 开发 原则 的 比较 报表 。 

四 ”特定 的 统计 分 析 或 验证 报告 ， 例 如 ， 每 一 次 模型 运行 完 后 ， 都 要 
研究 提升 泰和 收益 图 。 

四 ”模型 的 比较 以 及 变量 分 布 的 忆 结 。 

报表 可 以 在 评分 完成 后 自动 生成 ， 也 可 以 在 有 需要 时 生成 。 这 些 报 
表 通 常 是 对 模型 评分 效率 进行 持续 监控 的 天 键 步 骆 。 随 着 时 间 推 移 与 业 
务 环境 的 变化 ， 所 有 模型 的 评分 效率 都 会 下 降 。 这 些 报表 可 以 帮助 人 们 
选择 什么 时 候 重 新 开发 模型 。 


在 要 大 控 着 ， 
如 果 不 对 模型 和 分 析 流程 进行 监控 管理 ， 企 业 就 有 可 能 错误 地 使 用 模型 ， 甚 至 完全 忘记 了 某 
个 模型 的 存在 。 模 型 与 评分 管理 系统 可 以 保证 这 种 情况 不 会 发 生 。 有 了 这 个 系统 ， 当 某 一 个 分 
析 流 程 更 新 后 ， 就 能 很 容易 地 发 现 那些 会 受到 影响 的 其 他 分 析 流程 。 






















































































4. 模型 评分 输出 

最 后 一 个 组 件 是 模型 与 分 析 流 程 的 输出 ， 即 评分 结果 。 这 些 输出 结 
果 可 以 描述 任何 一 类 实体 ， 如 客户 、 区 域 或 者 产品 。 监 控 的 信息 包括 以 
下 几 项 。 

四 ”评分 是 多 少 ? 保存 在 哪里 ? 评分 的 实体 ， 如 客户 或 产品 ， 其 范围 


四 ”获得 这 个 评分 的 时 间 戳 。 

四 ”如 果 有 必要 ， 除 了 当前 评分 ， 还 可 以 保存 历史 评分 。 某 些 企业 会 
保留 一 段 时 间 内 的 历史 评分 ， 有 一 些 则 不 会 。 你 需要 决定 你 的 企业 使 用 
哪 一 种 方式 更 合理 。 


5.5 本 章 小 结 





以 下 是 本 章 的 重点 内 容 。 

四 ”部 贰 了 分 析 流 程 和 模型 并 不 意味 痢 就 能 获得 价值 。 更 新 分 析 流 程 
来 充分 利用 分 析 的 可 扩展 性 ， 这 对 于 轰 驭 大 数据 是 非常 关键 的 。 

四 ”分 析 专 家 比 其 他 类 型 的 用 户 更 需要 系统 资源 与 权限 。 分 析 沙 箱 这 
种 机 制 使 得 分 析 专 家 目 由 地 探索 数据 ， 还 能 让 IT 人 员 保 证 系统 资源 的 平 
衡 。 

四 ” 沙 箱 最 适合 数据 探索 、 分 析 开 发 以 及 原型 创建 这 些 活动 ， 它 不 适 
合 那些 重复 性 或 生产 性 的 任务 。 

四 ”有 多 种 类 型 的 沙 箱 环境 ， 包 括 内 部 沙 箱 、 外 部 沙 箱 以 及 混合 式 沙 
箱 。 每 一 种 沙 箱 都 可 以 与 MapReduce 环 境 组 合 在 一 起 处 理 大 数据 。 

四 ”分 析 数 据 集 是 可 以 直接 用 于 分 析 的 数据 集合 ， 例 如 ， 客 户 、 区 
、 产 品 、 供 应 商 等 。 

”不要 把 传统 基于 ADS 的 分 析 项 目 简单 地 迁移 到 库 内 分 析 架 构 中 ， 
而 是 应 该 把 ADS 升 级 为 更 加 规范 的 企业 分 析 数 据 集 (EADS) 架构 。 

四 EADS 是 一 个 预定 义 好 的 汇总 表 和 概要 视图 ， 它 可 以 方便 地 访问 
成 日 上 千 个 分 析 所 需 的 通用 指标 。 

四 EADS 提 升 了 系统 性 能 ， 减 少 了 数据 元 余 ， 增 加 了 透明 度 ， 并 确 
保 各 项 分 析 所 用 数据 一 致 。 

四 ”EADS 的 使 用 对 象 和 范围 不 应 该 局 限于 分 析 专 家 与 分 析 应 用 ， 应 
该 开放 给 其 他 的 应 用 和 用 户 使 用 。EADS 里 包含 重要 的 信息 ， 应 该 被 广 
泛 地 使 用 。 

四 ”局 入 式 评分 过 程 可 以 部 署 在 沙 箱 环境 或 者 EADS 环 境内 ， 并 提供 
了 评分 程序 ， 这 些 程序 可 以 很 容易 地 被 各 种 用 户 和 应 用 访问 。 

四 ” 悉 入 式 评分 的 实现 方式 包括 SQL、UDEF、 骨 入 式 过 程 或 者 
PMML. 

四 ”如 采 企 业 开 始 广泛 地 使 用 模型 ， 那 么 就 应 该 建立 模型 和 评分 管理 


流程 。 

















直 














四 ”模型 与 评分 管理 系统 有 4 个 主要 组 件 : 输入 分 析 数 据 集 、 模 型 定 
义 、 模 型 验证 与 报表 制作 、 模 型 评分 输出 。 








第 6 草 
分 析 工 具 与 方法 的 演进 


使 用 几 十 年 前 的 设计 图 纸 和 手动 工具 ， 能 建造 好 一 个 房子 吗 ? 当然 
可 以 ， 但 在 已 经 拥有 现代 化 工具 和 最 新 图 纸 的 今天 ， 很 少 有 人 会 愿意 这 
么 做 。 关 似 地 ， 分 析 专 家 可 以 使 用 目 定 义 代码 和 传统 方法 来 完成 各 类 分 
析 。 然 而 ， 如 果 要 花 时 间 了 解 可 能 的 各 种 选项 ， 很 少 有 人 会 选择 这 人 么 
做 。 正 如 建造 房屋 一 样 ， 人 们 能 够 比 十 年 前 花 更 少 的 人 力 建 造 功能 更 多 
的 房屋 ， 分 析 工 作 亦 是 如 此 。 

分 析 专 家 一 直 在 使 用 各 种 类 型 的 分 析 工 具 。 这 些 工 具 可 以 帮助 分 析 
师 准 备 分 析 所 需 的 数据 ， 执 行 分 析 算 法 ， 并 评估 分 析 结 果 。 分 析 工 具 的 
深度 与 功能 性 也 一 直 在 提高 。 除 了 更 丰富 更 友好 的 用 户 界 面 外 ， 分 析 工 
具 也 可 以 自动 化 或 流水 线 式 地 执行 一 些 常 见 任 务 。 因 此 ， 分 析 专 家 们 可 
以 花费 更 多 的 时 间 专 注 于 分 析 本 里。 使 用 新 的 工具 和 方法 ， 结 合 第 4 章 
与 第 5 章 讨 论 过 的 分 析 可 扩展 性 与 流程 ， 企 业 惑 能 轻松 地 驾驭 大 数据 。 

在 本 章 ， 我 们 会 前 述 分 析 专 家 如 何 改 变 工作 方法 来 构建 分 析 流 程 ， 
以 更 好 地 利用 各 种 分 析 工 具 带 来 的 性 能 与 可 扩展 性 的 提升 。 我 们 会 讨论 
组 合 模型 ， 简 易 模 型 ， 以 及 文本 分 析 。 我 们 还 会 讨论 分 析 工 具 演进 的 各 
种 路 径 ， 以 及 这 些 新 技术 和 工具 如 何 改变 分 析 专 家 的 工作 方式 。 我 们 还 
会 讨论 点 击 式 的 可 视 化 用 户 界 面 ， 开 源 工 具 ， 以 及 数据 可 视 化 工具 。 


6.1 分析 方法 的 演进 
不 少 分 析 和 建 模 方法 已 经 被 广泛 使 用 了 很 多 年 ， 其 中 的 一 些 ， 如 线 


性 回归 模型 或 决策 树 模型 ， 计 算 效 率 较 高 ， 实 施 起 来 也 相对 简单 。 在 过 
去 ， 简 单 是 必需 的 ， 因 为 当时 分 析 工 具 的 可 用 性 与 可 扩展 性 严格 受 限 ， 



































直到 今天 ， 人 们 才 拥有 了 更 多 可 能 。 

在 计算 机 出 现 之 前 ， 进 行 多 次 迭代 建 模 ， 或 答 试 攻 些 复杂 的 分 析 方 
法 ， 都 是 很 困难 的 。 这 些 年 ， 处 理 数据 的 技术 有 了 长 足 的 进步 ， 关 似 的 
情况 也 发 生 在 分 析 数 据 的 工具 和 技术 上 。 今 天 ， 人 们 已 经 可 以 使 用 多 种 
算法 来 针对 海量 基础 数据 进行 多 次 迭代 建 模 。 

因为 分 析 可 扩展 性 的 提升 ， 今 天 分 析 专 家 们 可 以 同时 执行 更 多 的 传 
统 分 析 任 务 。 也 有 许多 分 析 专 家 开始 尝试 不 同 的 新 分 析 方 法 来 充分 利用 
这 些 新 的 分 析 工 具 、 分 析 流 程 和 可 扩展 性 。 许 多 新 分 析 方 法 的 理论 很 久 
以 前 就 出 现 了 ， 但 直到 现在 才 可 以 真正 地 被 实施 。 分 析 方 法 在 持续 演进 
和 改善 ， 我 们 将 讨论 茶 些 重 要 的 分 析 方法 ， 包 括 组 合 建 模 、 简 易 建 模 以 
及 文本 分 析 。 














6.1.1 组 合 建 模 


组 合 建 模 方 法 的 核心 概念 非常 简单 直接 ， 不 是 只 使 用 一 种 方法 来 建 
立 一 个 单独 的 模型 ， 而 是 使 用 许多 技术 来 建立 许多 模型 ， 一 旦 获得 了 每 
一 个 模型 的 产 出 结果 ， 所 有 的 结果 就 可 以 组 合 起 来 形成 最 终 答案 。 结 末 
的 组 合流 程 非常 灵活 ， 可 以 直接 使 用 每 个 模型 预测 结果 的 平均 值 ， 也 可 
以 使 用 更 复杂 的 公式 。 重 要 的 是 ， 组 合 建 模 并 不 是 从 许多 模型 中 挑选 一 
个 最 优 模型 来 使 用 ， 而 是 把 许多 模型 的 结果 组 合 在 一 起 来 获得 最 终 答 


宁 


组 合 模型 的 威力 在 于 ， 每 个 不 同 的 建 模 方法 都 各 有 利 浆 。 例 如 ， 茶 
些 类 型 的 客户 ， 可 能 在 某 一 种 模型 中 得 分 很 低 ， 但 在 男 外 一 种 模型 中 得 
分 很 高 。 通 过 集合 各 个 模型 的 智慧 ， 评 分 算法 可 以 更 加 准确 地 评估 每 一 
个 客户 、 产 品 或 店铺 选 址 。 

例如 ， 人 们 可 以 使 用 线性 回归 、 逻 辑 回 归 、 决 策 树 以 及 神经 网 络 来 
建立 多 个 预测 模型 ， 对 客户 购买 条 指定 产品 的 概率 进行 评估 。 每 个 模型 























的 预测 结果 组 合 起 来 就 形成 了 最 终结 果 。 通 常 ， 这 种 组 合 模型 会 比 每 个 
独立 模型 的 预测 效果 要 好 很 多 。 

在 组 合 模型 方面 ， 有 一 本 非常 棒 的 技术 书籍 ， 是 John Elder 与 
Giovanni Seni 的 《数据 挖掘 中 的 组 合 建 模 》-6。 分 析 工 具 的 演进 使 组 
合 模 型 的 使 用 变 得 更 加 普 裔 。 如 果 没 有 一 种 好 的 方法 来 管理 建 模 过 程 并 
对 不 同 模型 的 结果 进行 整合 ， 组 合 建 模 就 无 法 轻易 地 被 实现 。 想 象 一 
下 ， 人 工 执行 并 测试 每 一 个 模型 ， 当 模型 执行 完 后 ， 还 要 人 工 汇总 每 一 
个 模型 的 输出 结果 ， 并 检查 模型 的 效果 ， 最 后 还 要 确认 如 何人 工整 合 不 
同 模 型 的 结果 。 今 天 ， 分析 工 具 已 经 可 以 帮助 你 执行 这 些 单调 乏味 的 任 


务 。 


群体 智 臣 
每 一 个 独立 模型 都 同时 具有 优点 和 缺点 。 通 过 组 合 各 种 模型 的 输出 结果 ， 最 后 的 混合 结果 通 
常 要 好 于 任何 一 个 独立 模型 。 这 类 似 于 很 多 人 同时 进行 预测 ， 然 后 把 每 个 人 的 预测 结果 进行 平 
均 ， 最 终结 果 通 第 与 正确 结果 最 为 接近 。 这 种 现象 通常 叫做 群体 智慧 。 
















































































组 合 模型 可 以 提升 评估 效果 的 原因 很 容易 理解 。 在 适当 的 条 件 下 ， 
群体 智慧 在 日 常生 活 中 的 表现 一 直 在 被 广泛 地 讨论 ( 见 James 
Surowiecki 的 《群体 智慧 》--) 。 爱 荷 华 州 大 学 的 爱 荷 华电 子 交 易 市 
场 很 多 年 前 就 证 明了 ， 把 许多 人 的 理性 预测 结果 进行 平均 ， 可 以 获得 与 
正确 答案 非常 非常 接近 的 预测 结果 。 事 实 上 ， 这 个 平均 的 预测 结果 比 任 
何 一 个 人 的 预测 结果 都 更 接近 正确 答案 。 

组 合 建 模 只 是 把 《群体 智慧 》 这 本 书 的 理念 应 用 到 了 分 析 领 域 ， 对 
许多 模型 的 理性 预测 结果 进行 平均 汇总 ， 最 终 得 到 了 与 正确 答案 非常 非 
常 接近 的 结果 。 组 合 建 模 能 解决 企业 所 有 的 分 析 问 题 吗 ? 当然 不 可 以 ， 
但 是 企业 应 该 把 组 合 模型 加 入 到 上 自己 的 分 析 方 法 库 中 。 











6.1.2 简易 模型 


还 有 一 种 被 越 来 越 广泛 使 用 的 分 析 方 法 ， 叫 做 简易 模型 。 我 们 把 简 
易 模 型 定义 为 一 种 降低 部 分 预测 效果 从 而 加 快 模型 构建 过 程 的 分 析 方 
法 。 简 易 模 型 可 以 通过 简单 的 、 分 步 的 分 析 流 程 实现 ， 例 如 自动 化 建 
模 。 简 易 模型 的 目标 并 不 是 获得 一 个 最 佳 模型 ， 而 是 快速 获得 一 个 模 
型 ， 得 到 比 没有 模型 时 更 好 的 结果 。 

恰当 地 使 用 简易 模型 能 带 来 巨大 的 帮助 ， 它 扩大 了 分 析 在 企业 中 的 
影响 。 在 过 去 ， 建 立 一 个 模型 通常 要 耗费 很 多 时 间 ， 建 模 成 本 很 高 。 分 
析 师 可 能 需要 几 周 甚至 几 个 月 的 时 间 来 获得 数据 ， 利 用 数据 建 模 则 需要 
更 多 的 时 间 。 这 限制 了 模型 的 应 用 ， 人 们 只 能 针对 具有 较 高 价值 的 问题 
进行 建 模 。 如 果 你 拥有 3000 万 个 或 者 4000 万 个 邮件 地 址 ， 那 么 为 建 模 进 
行 投资 来 挑选 潜在 用 户 是 必要 的 ， 但 如 果 你 只 有 30 万 个 邮件 地 址 ， 并 计 
划 推 广 一 个 并 不 昂贵 的 产品 ， 那 么 就 没有 必要 投入 成 本 建立 模型 了 。 

如 果 分 析 专 家 拥有 一 个 现代 化 的 分 析 环 境 ， 包 括 分 析 沙 盒 ， 以 及 先 
进 的 分 析 流 程 ， 如 企业 分 析 数 据 集 ， 那 么 建立 模型 的 时 间 将 减少 很 多 。 
我 们 在 第 4 章 与 第 5 章 中 已经 讨论 过 了 这 些 技 术 。 可 用 的 标准 化 变量 越 
多 ， 系 统 的 数据 分 析 能 力 越 强大 ， 那 么 建立 模型 就 越 容易 。 

请 时 刻 谍 记 ， 建 立 模型 变 得 更 加 容易 ， 并 不 会 降低 对 努力 工作 与 模 
型 正确 性 的 要 求 ， 只 是 如 果 有 一 个 优秀 的 分 析 专 家 来 执行 分 析 流 程 ， 他 
会 让 工作 更 快 地 完成 。 


有 些 时 候 “ 足 够 好 ? 克 够 了 ! 

简易 建 模 的 目标 是 比 没有 任何 模型 时 预测 更 准确 。 这 个 底 限 比 过 去 大 多 数 模型 的 要 求 都 要 
低 。 当 发 现 了 一 个 足够 好 的 结果 时 ， 简 易 建 模 过 程 就 会 停止 。 这 种 分 析 方法 特别 适合 那些 低 价 
值 的 业务 问题 和 场景 ， 这 种 情况 下 并 没有 必要 让 每 个 模型 都 达到 其 最 佳 效果 。 




























































































在 评估 一 个 简易 模型 时 ， 主 要 的 评估 角度 是 ， 使 用 这 个 模型 能 否 融 
来 收益 。 如 果 投 入 更 多 的 资源 和 精力 ， 这 个 模型 也 许 还 有 很 大 的 提升 衬 


间 ， 但 如 宋 目 前 没有 任何 模型 ， 而 一 个 简易 模型 就 可 以 带 来 帮助 ， 那 么 
还 是 使 用 简易 模型 吧 。 

我 们 可 以 研究 一 种 类 似 的 场景 。 如 果 你 拥有 房屋 ， 不 少 房 间 的 装饰 
都 需要 进行 改进 。 装 修 开 放空 间 的 房间 ， 如 厨房 ， 通 常会 进行 最 顶级 的 
装修 。 茶 些 房间 你 也 许 只 想 进 行 简易 的 装修 。 也 许 逆 修 客房 浴室 时 ， 你 
会 使 用 简单 的 材料 和 装饰 ， 因 为 客房 浴室 并 不 值得 进行 大 量 投资 。 简 易 
模型 也 是 一 样 的 道理 ， 并 得 到 了 广泛 使 用 。 

简易 模型 的 应 用 

简易 模型 使 得 高 级 分 析 可 以 推广 到 更 多 的 业务 问题 和 领域 ， 简 易 模 
型 的 文 撑 范 围 要 比分 析 专 家 人 工 建 模 这 种 传统 方式 大 得 多 。 

例如 ， 和 零售 企业 可 以 针对 某 些 重要 的 产品 类 别 建立 “购买 倾 问 ? 模 
型 。 对 于 那些 周转 率 较 低 、 促 销 也 较 少 的 类 别 ， 没 有 必要 建立 个 性 化 的 
评估 模型 。 一 个 百货 连锁 企业 ， 对 于 浴室 清洁 用 品 和 碳酸 饮料 这 类 大 销 
量 的 产品 建立 销量 预测 模型 是 有 意义 的 ， 但 对 于 某 些 周转 率 较 低 的 产 
品 ， 如 鞋 油 、 沙 丁 鱼 等 ， 建 立 销量 预测 模型 就 之 无 意义 了 。 

但 如 宋 需 要 对 这 些 不 那么 重要 的 产品 类 别 进行 促销 时 ， 这 时 要 如 何 
做 昵 ?也许 沙 丁 鱼 厂商 愿意 赞助 一 次 针对 于 其 沙丁鱼 产品 的 促销 活动 。 
有 些 零 售 企业 会 针对 其 拥有 的 几 百 个 不 同 产品 类 别 都 建立 预测 模型 ， 其 
中 大 部 分 模型 使 用 的 都 是 简易 模型 。 这 些 模型 就 是 服务 于 这 些 不 常见 的 
场景 与 需求 ， 并 能 够 给 企业 带 来 一 定 的 价值 。 重 要 的 类 别 ， 如 碳酸 饮料 
或 者 浴室 清洁 产品 ， 应 该 被 区 别 对 待 ， 并 为 之 建立 高 度 个 性 化 的 模型 ， 
而 对 于 茶 些 销量 小 的 产品 类 别 ， 简 易 模 型 是 这 些 产品 拥有 东 种 形 陈 预测 
模型 的 一 种 可 选 方案 。 

今天 的 高 级 分 析 工 具 对 于 这 类 建 模 任务 的 文 撑 更 加 完善 了 。 分 析 工 
具 可 以 自动 化 地 答 试 多 种 算法 ， 测 斌 不同 指标 的 各 种 组 合 方式 ， 进 行 多 
种 形式 的 自动 化 验证 。 这 些 工具 帮助 分 析 专 家 迅速 生成 合理 优质 的 模 






































型 。 对 于 低 价 值 的 业务 问题 ， 建 模 方 法 会 有 所 变化 。 在 茶 些 业务 场景 
下 ， 使 用 一 个 足够 好 的 模型 是 可 以 接受 的 ， 并 不 一 定 非 要 找到 一 个 最 好 
的 模型 ， 人 们 应 该 接受 这 一 点 。 

让 我 们 看 一 下 简易 模型 在 预测 领域 的 另 一 种 应 用 。 假 设 一 家 制造 企 
业 ， 它 投入 了 大 量 的 资源 来 努力 预测 市 场 的 总 体 需 求 ， 精 确 到 每 个 季 
度 、 每 个 产品 以 及 每 个 国家 或 区 域 。 但 是 ， 假 设 它 想 预 测 每 个 零售 店 或 
分 销 点 每 一 周 每 一 种 产品 的 销量 ， 没 有 公司 拥有 足够 的 资源 与 人 力 来 建 
立 这 么 多 高 度 个 性 化 的 预测 模型 。 在 这 类 低层 次 小 粒度 的 问题 上 ， 一 个 
可 以 目 动 化 执行 的 、 足 够 好 的 预测 模型 束 够 用 了 。 如 有 果 更 高 层次 的 预测 
是 准确 的 ， 低 层次 的 预测 结果 汇总 起 来 与 高 层次 的 预测 结果 吻合 ， 对 于 
这 家 企业 来 说 就 足够 了 ， 这 种 情况 已 经 比 没有 模型 时 好 很 多 了 。 

最 重要 的 考虑 因素 是 ， 确 保 你 建立 了 一 个 工作 流程 来 生成 足够 好 的 
模型 ， 而 不 是 生成 垃圾 模型 。 必 须 定期 重复 检查 简易 模型 的 生成 过 程 ， 
确保 其 在 可 控 范 围 内 ， 人 们 也 需要 定期 对 模型 结果 进行 验证 。 不 对 简易 
模型 流程 进行 干预 控制 ， 让 其 随意 执行 ， 这 将 是 非常 精 料 的 。 


6.1.3 ”文本 分 析 


文本 及 其 他 非 结 构 化 数据 源 分 析 是 使 用 得 越 来 越 广泛 的 一 种 分 析 方 
法 。 许 多 大 数据 都 属于 文本 及 非 结构 化 数据 源 的 范畴 。 从 直观 上 理解 ， 
文本 分 析 就 是 可 以 使 用 多 种 类 型 的 文本 作为 分 析 的 输入 源 。 文 本 的 类 型 
可 以 是 类 似 电 子 邮 件 的 书面 材料 或 类 似 医 学 笔录 的 转录 材料 ， 甚 至 可 以 
是 扫 摘 的 文本 文件 或 可 转换 成 电子 表格 的 法 院 记录 。 随 着 新 型 的 文本 数 
据 源 日 益 丰 富 ， 文 本 分 析 的 技术 也 有 了 突飞猛进 的 发 展 。 

近年 来 ， 各 种 文本 信息 ， 从 电子 邮件 到 社交 媒体 评论 ， 如 Facebook 
和 Twitter 类 型 的 社交 网 站 ， 到 网 页 在 线 咨 询 和 文本 消息 ， 甚 至 是 呼叫 中 
心 的 对 话 记 录 ， 这 些 信息 都 被 收集 并 记录 了 下 来 。 但 是 ， 要 理解 这 些 信 



































恩 并 不 容易 。 我 们 需要 解决 信息 的 解析 问题 ， 识 别 上 下 文 的 内 容 ， 并 且 
定义 有 意义 的 分 析 模 式 。 文 本 和 非 结构 化 数据 越 来 越 多 ， 并 将 逐渐 成 为 
不 可 忽视 的 一 种 新 数据 类 型 。 

文本 是 大 数据 的 一 种 常见 类 型 ， 并 且 文 本 分 析 工 具 和 方法 已 经 取得 
了 长 足 的 发 展 。 现 在 已 经 出 现 了 一 些 工 具 可 以 帮助 我 们 将 文本 解析 为 组 
成 文本 的 单词 或 短语 ， 然 后 分 析 这 些 单词 和 短语 的 含义 。 流 行 的 商业 文 
本 分 析 工 具 提 供 商 包括 Attensity、Clarabridge、SAS 和 SPSS 等 公司 。 

一 旦 文本 被 解析 为 组 成 文本 的 单词 或 短语 后 ， 分 析 这 些 单词 和 短语 
所 表达 的 意思 和 情感 ， 以 及 寻找 其 中 趋势 与 规律 的 方法 就 很 多 了 。 解 析 
后 的 文本 和 文本 统计 结果 也 第 常 被 用 来 建立 各 种 文本 分 析 模 型 。 例 如 ， 
判断 某 一 特定 用 户 的 电子 邮件 中 有 多 少 积 极 的 或 消极 的 语气 ， 判 断 某 一 
位 顾客 在 交谈 过 程 中 对 某 一 特定 产品 的 关注 度 等 。 这 是 对 原始 的 非 结 构 
化 数据 进行 解析 和 结构 化 处 理 的 过 程 ， 这 个 过 程 通 常 被 称 为 信息 抽取 。 

非 结 构 化 数据 本 身 通常 是 无 法 被 分 析 的 。 然 而 ， 非 结构 化 的 数据 可 
以 通过 某 些 特定 的 方法 被 结构 化 ， 这 些 结构 化 处 理 后 的 数据 是 可 以 进行 
分 析 的 。 想 象 一 下 电视 剧 中 的 侦探 追查 罪犯 的 过 程 ， 通 常 都 有 发 现 指 纹 
的 场景 ， 接 着 ， 在 指纹 上 放置 大 量 小 圆 点 ， 然 后 将 圆 点 连接 起 来 。 最 
后 ， 找 到 了 一 个 匹配 的 指纹 ， 并 最 终 确定 罪犯 。 在 这 种 情况 下 ， 这 个 非 
结构 化 的 指纹 并 不 是 真正 的 完全 匹配 ， 而 只 是 匹配 了 结构 化 的 外 观 ， 这 
个 外 观 是 从 非 结构 化 的 指纹 样式 中 得 来 的 。 对 非 结 构 化 的 海量 数据 进行 
分 析 时 ， 这 种 处 理 场景 会 反复 出 现 。 


分 析 非 结构 化 数据 

通常 ， 非 结构 化 数据 本 身 是 无 法 被 分 析 的 。 然 而 ， 非 结构 化 的 数据 可 以 通过 某 些 特定 方式 进 
行 结构 化 处 理 ， 并 得 到 可 以 直接 进行 分 析 的 结构 化 结果 。 几 乎 没有 哪 种 分 析 过 程 能 够 直接 对 非 
结构 化 数据 进行 分 析 ， 也 无 法 直接 从 非 结构 化 的 数据 中 得 出 结论 。 









































































































































将 上 下 文 应 用 于 文本 并 非 易 事 ， 有 一 些 可 用 的 处 理 方法 ， 但 更 多 的 
是 一 种 艺术 。 事 实 上 ， 同 一 个 单词 可 以 表示 不 同 的 意思 。 例 如 ， 如 果 我 
说 你 非常 差劲 ， 那 么 我 冒犯 了 你 。 但 如 果 我 说 我 刚 去 的 滑雪 场 条 件 非常 
差劲 ， 我 实际 上 表达 的 是 这 个 滑雪 场 是 多 么 糟糕 。 让 事情 更 复杂 的 是 ， 
单词 只 是 文本 含义 的 一 个 因素 ， 你 还 需要 考虑 单词 的 阐述 方法 ， 语 气 和 
声调 的 变化 可 以 完全 改变 一 段 话 的 含义 。 

表 6-1 是 一 个 被 广泛 使 用 的 好 例子 。 根 据 句 中 着 重 强调 的 单词 不 同 ， 
句子 大 体 意 思 也 随 之 改变 。 当 你 看 到 并 听 到 一 个 人 次 话 时 ， 你 很 容易 惑 
可 以 了 解 到 说 话 人 的 意思 。 但 是 ， 当 你 仅仅 有 文本 内 容 时 ， 你 就 无 法 获 
得 这 些 内 容 的 真正 含义 。 根 据 上 下 文 或 许可 以 帮助 你 理解 说 话 人 的 意 
图 ， 但 是 这 种 分 析 极 为 复杂 。 如 表 6.1 中 语句 的 细微 差别 所 示 ， 更 让 我 
们 见识 了 文本 分 析 有 了 时 是 一 项 多 么 具有 挑战 性 的 工作 。 
































表 6-1 重 首 是 如 何 改 变 句 子 意思 的 
































改变 重音 的 位 置 

我 没有 说 比尔 的 书 粕 透 了 我 没有 说 ， 但 是 我 兄弟 鲍 勃 说 了 ! 

我 没有 说 比尔 的 书 精 透 了 。 ”| 我 没有 说 ， 你 怎么 能 这 样 指控 我 ? 

我 没有 说 比尔 的 书 粮 透 了 我 没有 说 ， 但 是 我 承认 我 在 电子 邮件 中 写 了 

我 没有 说 比尔 的 书 粮 透 了 | 其 他 人 的 书 粳 透 了 

我 没有 说 比尔 的 书 粕 透 了 | 我 说 的 不 是 书 ， 是 他 的 博客 精 透 了 ! 

我 没有 说 比尔 的 蔬 粮 过 了 | 我 仅仅 是 想 表 达 我 不 喜欢 比尔 的 书 | 
文本 分 析 方 法 是 大 部 分 企业 必须 接受 的 新 鲜 事物 。 文 本 分 析 已 经 开 


始 从 一 项 边缘 性 的 分 析 技 术 成 长 为 一 项 非常 重要 的 分 析 技 术 ， 并 且 给 许 
多 行业 和 业务 问题 带 来 了 巨大 的 影响 。 处 理 非 结构 化 大 数据 源 的 方法 有 
很 多 ， 这 些 方法 也 在 不 断 地 发 展 和 进步 ， 文 本 分 析 仅 是 其 中 的 一 种 。 


6.1.4 跟 上 分 析 方 法 的 发 展 脚步 








针对 新 商业 问题 的 新 方法 层出不穷 ， 要 努力 使 企业 的 分 析 拉 能 紧 跟 
测 流 ， 而 不 是 停滞 不 前 。 在 应 用 一 种 新 的 分 析 方 法 之 前 ， 分 析 人 员 需 要 


充分 了 解 这 种 新 方法 。 让 我 们 来 看 两 个 分 析 方 法 从 很 少 被 使 用 逐渐 发 展 
到 被 广泛 使 用 的 例子 。 这 些 例 子 很 好 地 闸 述 了 分 析 方 法 从 很 少 被 使 用 到 
到 大 规模 应 用 的 快速 发 展 过 程 。 

协同 过 滤 与 关联 分 析 的 目的 相似 。 和 关联 分 析 一 样 ， 协 同 过 滤 常 常 
被 用 于 分 辨 某 位 特定 顾客 可 能 感 兴趣 的 东西 ， 这 些 结论 来 自 于 对 其 他 相 
似 顾客 对 哪些 产品 感 兴趣 的 分 析 。 协 同 过 滤 以 其 出 色 的 速度 和 健壮 性 ， 
在 全 球 互联 网 领域 炙手可热 。 实 际 上 ， 协 同 过 滤 的 实现 方式 是 一 种 典型 
的 简易 模型 。 其 基本 方法 很 容易 实现 ， 并 且 可 以 快速 生成 高 质量 的 推荐 
效果 。 随 着 互联 网 的 发 展 ， 协 同 过 滤 被 广泛 地 使 用 ， 并 变 得 不 可 或 缺 。 
仅仅 在 10 年 到 15 年 之 前 ， 它 还 并 未 被 广泛 地 使 用 或 熟知 。 

网 页 排名 是 Google 所 有 服务 的 基础 。 当 用 户 进行 查询 时 ，Google 正 
是 用 网 页 排名 来 决定 哪些 链接 与 用 户 的 需求 关联 性 最 大 ， 并 将 这 些 链 接 
提供 给 用 户 。 所 有 的 主流 搜索 引擎 在 网 页 排名 的 实现 方式 上 都 有 其 各 自 
的 特点 。 实 际 上 ， 大 部 分 的 个 人 网 站 都 有 相应 的 方法 将 这 些 搜索 功 能 抠 
入 网 站 内 部 以 帮助 用 户 进行 站 内 搜索 。 这 些 技术 近 几 年 才 被 开发 出 来 ， 
但 直到 互联 网 时 代 ， 才 变 得 意义 重大 。 

大 部 分 普通 用 户 也 许 直 到 现在 也 没 听 说 过 协同 过 滤 或 网 页 排名 。 几 
十 年 前 ， 大 多 数 人 不 会 在 他 们 的 日 常生 活 之 外 被 曝光 ， 而 在 过 去 的 这 几 
年 ， 个 人 信息 已 经 变 得 无 处 不 在 。 不 管 人 们 有 没有 意识 到 ， 无 数 上 网 用 
户 每 天 都 在 接触 或 使 用 这 些 数 据 分 析 的 成 果 。 大 部 分 人 也 许 都 没 听 过 这 
些 技术 ， 但 他 们 都 在 无 意 中 使 用 了 这 些 技 术 ， 在 未 来 的 几 年 内 ， 一 些 鲜 
为 人 知 的 技术 会 逐渐 流行 起 来 。 每 个 企业 都 需要 确保 有 人 在 探索 跟踪 下 
一 代 的 新 型 技术 ， 并 将 其 利用 起 来 。 这 些 跟踪 工作 可 以 通过 参加 分 析 大 
会 ， 阅 读 分 析 文 献 、 文 章 及 博客 ， 甚 至 可 以 与 其 他 公司 的 分 析 专 家 进行 
交流 等 方式 米 实 现 s 


.2 分 析 工 具 的 演进 
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在 20 志 纪 80 年 代 的 时 候 ， 我 刚 开 始 从 事 分 析 工 作 ， 用 户 体 验 的 友好 
性 并 不 是 描述 或 评价 一 个 工具 或 系统 的 关键 指标 ， 所 有 分 析 工 作 都 是 在 
大 型 机 中 完成 的 。 当 时 不 仅 需 要 直接 通过 程序 代码 来 实现 分 析 工 作 ， 而 
且 需 要 使 用 非常 星 深 的 作业 控制 语言 (Job Control Language，JCL) 。 
任何 使 用 过 作业 控制 语言 的 人 都 会 理解 这 种 痛 苗 。 

随 着 服务 器 和 PC 的 普及 ， 人 们 上 前 先 将 旧 的 代码 界面 移植 到 了 新 的 平 
台 上 。 在 当时 的 情况 下 ， 图 形 和 输出 是 非常 初级 的 。 最 初 ， 柱 状 图 是 通 
过 输入 简单 的 字符 来 表示 的 ， 网 格 是 通过 破 折 号 来 表示 的 ， 输 出 物 大 多 
是 以 文本 形式 进行 组 织 的 。 

随 着 时 间 的 推移 ， 新 的 图 形 界面 逐渐 发 展 起 来 了 ， 用 户 能 够 通过 点 
击 来 实现 大 部 分 操作 ， 不 再 需要 编写 代码 。 实 际 上 所 有 可 用 的 商业 分 析 
工具 都 已 经 在 20 世 纪 90 年 代 末 实现 了 图 形 化 界面 。 用 户 界 面 被 不 断 地 改 
进 ， 加 入 了 丰富 的 图 形 、 虚 拟 的 工作 流 图 表 以 及 特殊 单 点 解决 方案 的 应 
用 程序 。 工 作 流 图 表 是 一 种 很 好 的 新 特性 ， 因 为 它 允 许 分 析 专 家 将 某 个 
流程 中 单独 的 步骤 展示 在 一 张 多 任务 关联 的 视图 中 ， 这 样 承 可 以 利用 可 
视 化 的 方法 妃 踩 处 理 流 程 中 的 每 一 个 步骤 。 

随 着 工具 本 里 的 持续 发 展 ， 工 具 的 使 用 范围 也 逐渐 扩大 。 现 在 的 工 
有 具 可 以 帮助 分 析 专 家 管理 分 析 的 部 普 ， 管 理 分 析 服 务 和 软件 ， 并 可 以 将 
代码 从 一 种 语言 转换 成 另外 一 种 语言 。 目 前 ， 已 经 存在 许多 可 用 的 了 商业 
分 析 包 。 分 析 工 具 的 领导 者 是 SAS 和 SPSS， 还 有 不 少 其 他 的 分 析 工 具 可 
以 使 用 ， 但 许多 分 析 工 具 仅 仅 能 够 分 析 某 些 特定 的 业务 问题 。 此 外 ， 也 
有 一 些 非 常 好 用 的 开源 分 析 工 具 ， 我 们 随后 将 会 进行 讨论 。 


6.2.1 图形 化 用 户 界 面 的 崛起 


正如 我 们 刚才 提 到 的 ， 在 20 世 纪 90 年 代 中 期 之 前 ， 进 行 统计 分 析 的 
唯一 方法 就 是 编写 代码 。 许 多 人 ， 特 别 是 传统 守旧 的 分 机 人 人员， 依然 吕 




















欢 通过 编写 代码 的 方式 来 进行 分 机 。 然 而 ， 随 独 用 户 界 面 逐 渐 普 及 ， 分 
析 专 家 们 不 用 编写 代码 也 可 以 高 效率 地 进行 分 机 了。 今天 的 图 形 化 用 户 
界面 可 以 帮助 用 户 生 成 分 析 所 需 的 各 种 代码 。 

分 析 专 家 们 偏 同 于 使 用 图 形 化 界面 还 古 编写 代码 ， 这 个 问题 第 引起 
激烈 的 争论 。 事 实 上 ， 如 果 用 户 界 面 的 功能 足够 丰富 ， 并 且 在 分 析 效 率 
方面 与 编写 代码 相同 其 至 超过 了 编写 代码 ， 没 有 人 会 拒绝 使 用 图 形 化 用 
户 界 面 ， 因 为 真正 的 分 析 专 家 只 关心 如 何 能 够 更 快 更 高 效 地 完成 分 析 任 
务 。 妨 外 ， 目 前 的 软件 工具 不 仪 能 帮助 用 户 更 快 地 生成 分 析 代 码 ， 而 且 
可 以 通过 预先 内 置 的 分 析 解 决 方案 来 引导 用 户 解决 菜 些 特定 问题 。 

使 用 图 形 化 用 户 界 面 的 另外 一 个 好 处 是 ， 上 自动 生成 的 代码 几乎 是 没 
有 错误 的 ， 并 且 经 过 了 优化 。 这 与 完全 人 工 编写 代码 不 同 ， 人 工 编 写 代 
码 的 错误 率 和 性 能 几乎 完全 取决 于 编写 者 的 水 平 。 早 期 的 用 户 界 面 非常 
难 用 ， 对 于 一 个 知道 如 何 写 好 代码 的 人 而 言 ， 编 写 代 码 的 速度 甚至 比 使 
用 用 户 界面 更 快 。 新 一 代用 户 界 面 的 目 动 化 程度 和 效率 已 经 提高 了 很 
多 ， 它 使 得 人 们 可 以 更 加 专注 于 需要 使 用 的 分 析 方 法 和 分 析 内 容 本 身 ， 
而 不 是 拼命 地 编写 代码 。 


不 要 做 一 个 宁肯 的 入 

如 今 ， 许 多 用 户 界 面 在 生成 代码 时 已 经 快 了 很 多 ， 并 且 这 些 代 码 没 有 错误 ， 且 经 过 了 优化 。 
如 果 分 析 专 家 们 给 用 户 界 面 一 个 机 会 ， 特 别 是 对 于 那些 编写 了 几 十 年 代码 ， 又 无 法 接受 除了 直 
接 编写 代码 之 外 任何 新 事物 的 人 而 言 ， 结 果 将 是 十 分 惊人 的 。 工 具 可 以 使 得 分 析 专 家 更 高 效 地 
工作 ， 因 为 他 们 可 以 把 更 多 时 间 花 在 分 析 方 法 上 ， 而 不 是 编写 代码 上 。 































































































图 形 化 用 户 界 面 的 一 个 巨大 优势 是 可 以 目 动 生成 代码 ， 但 这 也 是 一 
个 很 大 的 风险 。 目 动 生成 代码 听 上 去 非常 不 错 ， 因 为 它 可 以 快速 地 生成 
代码 ， 但 是 它 也 可 能 会 生成 垃圾 代码 。 这 个 问题 我 们 将 在 第 8 章 中 进行 
讨论 。 如 果 用 户 的 操作 并 不 娄 练 ， 仅 仅 偶 尔 使 用 用 户 界面 来 生成 代码 ， 


那么 结果 或 许 和 他 们 所 期 望 的 完全 不 同 。 如 果 用 户 没 有 理解 所 生成 代码 
的 含义 ， 那 么 用 户 将 不 能 辨别 代码 的 状态 ， 这 将 会 导致 错误 或 者 不 准确 
的 分 析 流 程 。 

使 用 图 形 化 用 户 界 面 的 用 户 需 要 理解 代码 的 含义 ， 并 且 能 够 检查 生 
成 的 代码 是 否 符合 自己 的 分 析 意 图 。 用 户 通 常 希望 在 使 用 用 户 界面 之 
后 ， 仪 仪 需要 点 选 少 量 选项 就 可 以 得 到 所 期 得 的 分 析 结 果 ， 然 而 ， 当 看 
到 工具 所 生成 的 代码 之 后 ， 你 第 第 会 发现 这 和 你 想 要 的 东西 不 完全 一 
样 。 如 今 的 用 户 界 面 帮助 分 析 专 家 更 有 效率 地 工作 ， 让 他 们 将 更 多 的 时 
间 花 在 分 析 上 ， 而 不 是 浪费 在 编写 代码 上 。 这 些 分 析 工 具 并 不 能 够 代 谷 
知识 、 天 赋 与 努力 。 


6.2.2 单 点 解决 方案 的 兴起 


在 过 去 的 十 年 间 ， 单 点 分 析 解 决 方案 一 直 呈 现 加 速 发 展 的 趋势 。 单 
点 分 析 解 决 方案 的 软件 包 通 党 只 针对 茶 一 具体 且 明 确 的 问题 。 通 常 ， 这 
些 单 点 分 析 解 决 方案 会 天 注 一 系列 相关 联 的 业务 问题 ， 并 处 在 分 析 工 具 
套件 中 的 顶层 。 

单 点 解决 方案 的 例子 有 价格 优化 、 坎 诈 检测 、 需 求 预测 和 其 他 类 似 
的 应 用 。 单 点 解决 方案 通常 基于 一 些 分 析 工 具 套 件 ， 如 SAS， 并 调用 这 
些 分 析 工 具 内 部 的 基础 功能 。 然 而 ， 从 用 户 界 面 来 看 ， 这 些 单 点 分 析 解 
决 方案 仅仅 针对 茶 一 明确 的 问题 集合 。 这 个 单 点 解决 方案 的 开发 可 能 
费 了 大 量 人 年 〈“ 画 动量 单位 ， 一 个 人 在 一 年 内 完成 的 工作 量 ) 。 与 其 自 
己 重 新 构建 一 个 新 的 解决 方案 ， 企 业 可 以 考虑 购买 一 个 单 点 解决 方案 作 
为 蔡 代 ， 这 能 市 约 大 量 的 金钱 和 时 间 。 

例如 ， 一 个 针对 金融 组 织 的 反 洗 钱 应 用 有 一 套 完 整 的 算法 和 业务 规 
则 来 查找 可 疑 的 资金 转移 。 这 种 工具 的 用 户 界 面 专 注 于 分 辨 可 疑 的 案 
例 ， 并 提供 额外 的 必要 信息 来 帮助 进一步 分 析 调 查 这 个 可 疑案 例 。 这 种 





























具 能 够 帮助 企业 快速 地 开始 分 析 工 作 ， 而 不 用 从 头 构建 整个 流程 。 

en A 
中 使 用 高 级 分 析 的 成 果 。 这 些 工 具 的 安装 、 配 置 与 初始 化 的 分 析 参 数 设 
置 通 常 都 需要 较 高 层次 的 专业 知识 。 随 着 时 间 的 推移 ， 维 护 和 使 用 这 个 
解决 方案 所 需要 的 知识 门槛 逐渐 降低 。 这 使 得 单 点 解决 方案 可 以 服务 于 
更 多 的 用 户 群 体 。 请 注意 ， 这 并 不 违反 之 前 提 到 的 不 理解 代码 就 无 法 使 
用 工具 的 说 法 。 创 建 和 配置 单 点 解决 方 膝 的 目的 之 一 就 是 指导 并 约束 用 
户 进行 适当 的 操作 。 
相对 于 普通 的 业务 用 户 ， 单 点 分 析 解 决 方案 通常 服务 于 更 高 级 的 用 
。 不 过 ， 这 并 不 意味 看 这 些 用 户 具 有 分 析 专 家 所 拥有 的 熟练 的 分 析 技 
。 这 些 解决 方案 一 旦 被 专家 配置 好 后 ， 它 们 就 能 自动 地 执行 许多 任 
高 级 用 户 能 够 有 效 监 控 分 析 工 具 的 输出 ， 并 确保 一 切 工作 正常 有 
。 这 种 方案 的 优秀 之 处 是 让 企业 更 广泛 地 使 用 分 析 成 果 ， 并 带 来 了 额 
外 的 可 扩展 性 的 提升 。 没 有 哪个 企业 拥有 足够 的 分 析 专 家 来 使 用 人 工 方 
式 处 理 押 有 的 分 析 需 求 ， 单 点 分 析 解 决 方案 减轻 了 这 种 负担 。 


了 解 单 点 解决 方案 
单 点 分 析 解 决 方案 是 解决 特定 商业 问题 一 种 极 好 的 方式 。 这 些 工具 让 更 广泛 的 用 户 参 与 到 分 
析 流 程 中 。 实 施 一 个 成 熟 的 、 商 业 化 的 单 点 解决 方案 ， 其 速度 也 远 远 快 于 创建 一 个 自 定义 的 解 
决 方案 。 但 是 ， 当 你 看 到 这 些 解决 方案 的 价格 时 ， 准 备 被 震惊 吧 。 
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单 点 解决 方案 的 一 个 很 大 缺点 是 它们 相当 昂贵 。 某 些 知名 单 点 解雇 
方案 的 企业 授权 许可 可 能 需要 1000 万 美元 甚至 更 多 。 如 果 财 务 回 报 高 于 
投入 ， 那 也 没关系 。 但 是 ， 通 常 大 多 数 企业 既 无 法 承受 安装 配置 的 时 间 
和 精力 ， 也 无 法 承受 同时 实施 大 量 单 点 解决 方案 的 投资 成 本 。 因 此 ， 单 
氮 解决 方案 通常 以 串 行 方式 执行 ， 执 行 完 一 个 ， 再 开始 执行 另 一 个 。 

在 未 来 的 几 年 里 ， 单 点 解决 方案 将 成 为 大 数据 分 析 的 季 用 分 析 手 














段 。 菏 些 单 点 解雇 方案 可 能 正 是 某 些 企业 现在 就 需要 开始 肴 手 的 。 当 计 
划 实 施 单 点 解决 方案 时 ， 有 必要 对 市 场 上 各 种 成 熟 方案 进行 研究 比较 ， 
以 了 解 你 可 以 选择 的 范围 。 


6.2.3 ”开源 的 历史 


开源 软件 已 经 出 现 了 一 段 时 间 ， 能 够 通过 下 载 供 公 众 免费 使 用 ， 此 
外 ， 还 可 以 获得 开源 软件 的 源 代码 ， 用 户 可 以 按照 上 自己 意愿 开发 日 定义 
功能 并 添加 到 软件 中 。 

有 一 些 被 广泛 使 用 的 、 成 功 的 开源 软件 。 网 络 浏览 器 Firefox 就 是 一 
个 例子 ， 还 有 Linux 操 作 系 统 和 Apache Web Server 软 件 。 之 前 我 们 说 过 
了 了， 因特网 的 高 速 发 展 产 生 了 大 量 的 开源 活动 和 社区 。 网 络 世 界 产 生 了 
大 量 的 创新 ， 自 然 也 包括 了 大 量 的 开源 创新 。 

目前 看 起 来 开源 软件 似乎 已 经 涵盖 了 各 个 方面 ， 有 开源 的 数据 库 、 
开源 的 商业 智能 和 报表 工具 、 开 源 的 数据 整合 工具 、 开 源 的 办 公 套 件 等 
等 。 还 有 一 些 情况 ， 如 Linux 和 Apache， 开 源 的 工具 集 就 算 不 是 领导 
者 ， 也 已 经 成 为 相关 领域 内 被 大 众 认 可 的 首选 工具 。 但 更 多 的 情况 下 ， 
开源 软件 并 不 是 市 场 的 主流 ， 只 是 在 一 些 特殊 的 领域 内 使 用 ，Office 办 
公 和 套件 就 是 这 种 情况 的 一 个 例子 。 通 各 来 说 ， 大 型 公司 或 成 立 很 久 的 老 
牌 公司 ， 比 初创 公司 或 学 术 型 组 织 更 少 地 使 用 开源 工具 。 

开源 工具 一 个 引 人 注 目的 特点 是 有 成 和 王 上 万 的 人 为 改善 提高 该 工具 
的 性 能 在 持续 地 做 痢 贡 献 。 由 于 有 大 量 的 开发 者 在 其 空闲 时 间 持 续 优 化 
这 个 工具 ， 如 果 发 现 了 某 个 错误 ， 它 会 被 很 快 修复 。 大 部 分 开源 项 目 有 
正式 的 组 织 进 行文 持 。 在 某 些 情况 下 ， 这 些 组 织 可 能 是 完全 上 自愿 的 ; 在 
另 一 些 情况 下 ， 可 能 有 非 营 利 组 织 的 全 职员 工 在 管理 这 些 项 目 。 通 过 捐 
赠 ， 非 营利 组 织 可 以 提供 工资 ， 但 目的 并 不 是 通过 软件 本 里 获取 收益 ， 
仪 仅 是 确保 对 开源 项 目的 有 效 管 理 。 开 源 项 目 一 直 对 各 个 领域 有 着 巳 大 




















影响 ， 也 包括 分 析 领 域 。 下 面 我 们 来 介绍 R 项 目 。 
针对 统计 计算 的 R 项 目 

开源 工具 达到 了 世界 先进 分 析 水 平 的 一 个 例子 是 针对 统计 计算 的 R 开 
源 项 目 ， 也 被 简称 为 “<R”"。R 是 免费 的 开源 分 析 软 件 包 ， 它 直接 与 各 种 
商业 分 析 工 具 进 行 范 争 并 互相 补充 。R 最 急 是 从 “S” 派 生出 来 的 ，S 是 十 
多 年 前 为 统计 计算 开发 的 一 种 早期 语言 。 使 用 R 命 名 的 原因 是 英文 字母 
S 后 是 R， 并 且 该 项 目 主要 开发 者 的 名 字 也 是 以 R 开 头 〈Robert 
Gentleman 与 Ross Ihaka) 。-8)_ 

R 得 到 了 快速 发 展 并 且 被 大 量 的 分 析 专 家 使 用 ， 在 高 校 和 研究 领域 使 
用 无 为 普 遇 。 在 现今 的 企业 环境 中 ， 如 果 有 一 个 大 型 的 分 析 专 家 团队 ， 
通 单 至少 有 几 个 成 员 在 使 用 R。 

虽然 商业 工具 更 加 优秀 ， 但 是 R 的 影响 力 仍 然 在 不 断 扩 大 。 迄 今 为 
止 ，R 已 经 拥有 了 大 量 的 用 户 ， 主 要 分 布 在 学 术 界 而 不 是 大 型 企业 内 。 
R 更 多 用 于 研发 类 任务 ， 而 不 是 针对 海量 数据 的 关键 生产 分 析 流 程 。 这 
种 情况 可 能 随 着 时 间 发 生 改 变 ， 但 至 少 目 前 是 这 样 的 。 

R 上 其 有 许多 强大 的 功能 。 相 对 于 其 他 的 分 析 工 具 集 ，R 是 面 同 对 象 
的 。 它 能 和 常用 的 编程 平台 ， 比 如 C++ 和 JAVA 进行 连接 ， 这 使 得 在 应 
用 程序 中 磐 入 R 变 得 可 行 。 事 实 上 ， 商 业 分 析 工 具 已 经 能 在 内 部 工具 集 
中 执行 R 程 序 ， 这 是 一 个 非常 吸引 人 的 特性 。 这 个 话题 的 详细 讨论 超出 
了 本 书 的 范围 。 

也 许 ，R 的 最 大 优势 在 于 ， 只 要 新 的 模型 或 分 析 方 法 开发 完成 ， 这 个 
分 析 功 能 就 会 被 人 集成 到 R 中 。R 开 发 并 上 线 新 功能 的 速度 远 远 超过 其 
他 的 商业 软件 ， 一 想到 这 点 ， 就 会 感觉 特别 殉 。 通 常情 况 下 ， 当 某 个 算 
法 被 证 明 有 市 场 需 求 后 ， 商 业 工 具 的 开发 商 才 会 考虑 将 其 整合 到 商业 工 
其中。 然后 他 们 将 把 这 个 算法 加 入 开发 计划 ， 进 行 编码 ， 把 这 项 工程 放 
入 未 来 的 发 布 版 中 ， 这 个 过 程 可 能 会 耗费 好 几 年 。 但 是 R 束 不 同 了 ， 一 









































且 有 人 认为 某 一 个 算法 是 有 价值 的 ， 人 们 就 会 在 R 中 开发 并 实现 它 。 





你 在 使 用 R 吗 ? 


R 是 一 个 有 前 途 的 开源 分 析 工 具 集 。 近 些 年 来 ，R 获 得 了 长 足 的 发 展 并 被 广泛 使 用 。R 有 自己 
的 优势 和 缺点 ， 并 不 是 每 一 个 组 织 或 者 组 织 中 的 任何 问题 都 适合 使 用 R。 但 无 论 如 何 ，R 总 会 有 
它 自 己 的 位 置 。 





















































事实 上 ，R 是 免费 的 ， 很 多 人 非常 看 重 这 一 点 。 然 而 ， 与 其 他 的 开源 
项 目 一 样 ， 有 专门 提供 专 有 组 件 和 服务 的 付费 公司 ， 这 些 公司 能 够 帮助 
你 实施 或 开发 R 程 序 ， 在 某 些 情况 下 ， 它 们 拥有 改进 开源 软件 功能 的 组 
件 。 免 费 软 件 的 一 个 消极 方面 是 没有 商业 软件 那样 的 文 持 。 你 可 能 或 多 
或 少 地 需要 依靠 自己 去 寻找 答案 ， 虽 然 有 大 型 网 络 社区 能 寻找 答案 ， 但 
是 并 没有 一 个 单独 的 个 人 或 团队 来 负 贡 提供 文 持 。 

R 还 有 一 个 缺点 是 过 于 依靠 编程 。 虽 然 R 有 一 些 图 形 化 用 户 界面 ， 但 
是 很 多 用 户 仍 然 主 要 依靠 编写 代码 。 另 外 ，R 与 类 似 的 商业 软件 的 接口 
还 不 够 成 熟 。 当 然 ， 随 着 时 间 推 移 和 R 的 发 展 ， 这 种 情况 可 能 会 有 所 改 
2 

R 的 最 大 的 劣势 可 能 在 于 它 的 可 扩展 性 。 近 期 虽然 有 所 改善 ， 但 是 RR 
仍然 不 具有 其 他 了 商业 软件 和 数据 库 那 种 级 别 的 处 理 能 力 。R 的 基础 软件 
运行 在 内 存 中 而 不 是 文件 中 ， 这 意味 着 它 仅 能 处 理 和 机 器 可 用 内 存 相 同 
大 小 的 数据 。 即 使 一 台 非 常 昂贵 的 计算 机 ， 其 内 存 总 和 也 远 远 少 于 企业 
级 数据 集 的 处 理 需 求 ， 更 别 说 大 数据 了 。 如 果 一 个 组 织 想 要 处 理 大 数 
据 ，R 可 以 是 解决 方案 的 一 部 分 ， 但 是 由 于 R 现 今 的 地 位 ， 要 成 为 解决 
方案 的 唯一 组 成 部 分 还 不 现实 。 

越 来 越 多 的 工具 在 开发 R 的 连接 包 ， 包 括 一 些 商 业 分 析 软 件 。 它 会 成 
为 像 Linux 或 Apache 这 样 领先 的 产品 吗 ? 还 是 会 继续 保持 小 众 ， 如 开源 
办 公 和 套件 那样 ? 在 专业 分 析 领 域 ，R 未 来 会 有 什么 样 的 地 位 与 表现 ， 这 


























个 问题 只 有 时 间 才 能 回答 。 
6.2.4 数据 可 视 化 的 历史 


数据 可 视 化 和 数据 本 身 一 样 古 老 。 最 近 它 成 为 了 一 个 行业 ， 不 少 人 
以 讨论 、 研 究 和 分 析 可 视 化 技术 作为 职业 ， 如 Edward Tufte， 他 在 这 个 
领域 创作 了 很 多 本 书 ， 其 中 就 包括 经 典 的 A visual Display of Quantitative 
Information。-3)- 

Charles Joseph Menard 对 1812 年 拿破仑 军队 在 莫斯科 被 消灭 的 描述 一 
直 被 认为 是 最 好 的 可 视 化 例子 。- 上 0 如果 通 过 本 页 注释 的 链接 去 看 他 
绘制 的 图 片 ， 你 就 能 清楚 地 想象 出 这 些 部 队 的 经 历 。 

在 分 析 的 领域 里 ， 可 视 化 涉及 图 表 、 图 像 和 展示 数据 的 表格 。 在 电 
脑 未 出 现 的 时 代 ， 图 像 是 手工 绘制 的 。 电 脑 彻 底 改 变 了 数据 的 可 视 化 方 
法 ， 创 建 可 视 化 变 得 更 容易 了 。 我 的 第 一 台 彩 色 打 印 机 ， 连 接 在 我 的 老 
式 计算 机 上 。 它 有 一 个 小 巧 的 彩色 圆珠笔 ， 打 印 纸 看 起 来 像 是 宽 的 收据 
纸 ， 圆 珠 笔 在 纸 面 上 移动 生成 要 绘制 的 图 形 。 我 可 以 创建 一 些 低 解析 度 
的 基础 柱状 图 ， 稍 微 复杂 点 的 图 形 就 不 行 了 。 

早期 分 析 软 件 实际 上 相当 巧妙 地 采用 了 键盘 字符 来 创建 图 表 ， 可 能 
并 不 漂亮 ， 但 是 确实 把 意思 表达 得 很 清楚 。 柱 状 图 中 的 每 一 个 柱 体 由 x 
字符 组 成 ， 如 图 6-1 所 示 ， 人 饼 图 由 一 段 线 段 、 逗 号 和 人 破 折 号 组 成 ， 而 表 
格 则 由 破 折 号 “一 ”和 竖 线 “| 组 成 框架 。 
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东部 西部 地 区 南部 
图 6-1 早期 、 初 级 的 柱状 图 

等 到 果 面 办 公 软 件 流 行 后 ， 几 乎 任何 人 都 可 以 做 一 个 漂亮 的 、 五 颜 
六 色 的 图 表 或 曲线 图 ， 并 具有 完整 的 标签 、 图 例 和 坐标 轴 。 分 析 工 具 的 
绘图 能 力也 在 提升 ， 远 远 超过 了 基于 文本 的 简单 绘图 模式 。 

然而 ， 直 到 近期 ， 可 视 化 大 多 还 是 静态 的 。 架 面 报告 或 电子 制 表 工 
上 其 创建 的 图 表 通 常 是 是 静态 的 ， 除 非 数 据 被 更 新 。 通 弟 ， 更 新 是 手动 完 
成 的 。 如 今 ， 可 视 化 工具 甚至 实现 了 与 图 形 进行 交互 分 析 ， 以 新 的 强大 
的 方式 来 探索 与 分 析 数 据 。 

现代 的 可 视 化 工具 

可 视 化 工具 发 展 得 如 此 迅速 ， 以 至 于 许多 人 并 没有 意识 到 和 它 拥有 的 
力量 。Tableau、JMP、Advizor、Spotfire 这 些 可 视 化 分 析 工 具 帮 助 分 析 
专家 和 业务 用 户 创建 各 种 分 析 图 形 ， 不 仅 能 够 清晰 地 描述 出 已 发 生 的 现 
象 与 事实 ， 还 提供 了 一 种 可 视 化 的 交互 分 析 方 式 来 发 现 新 的 事实 。 























今天 的 可 视 化 工具 ， 可 以 让 多 个 选项 卡 内 的 图 形 和 图 表 和 直接 链接 到 
基础 数据 。 更 重要 的 是 ， 这 些 标签 、 图 形 和 图 表 是 互相 关联 的 。 例 如 ， 
如 果 用 户 单 击 了 东北 地 区 的 图 形 区 域 ， 所 有 其 他 图 表 将 立刻 进行 调整 ， 
只 显示 东北 地 区 的 数据 。 

这 些 新 的 工具 被 认为 是 演示 文 稳 和 电子 表格 软件 的 “ 锦 守 妙计 ”。 一 
些 可 视 化 工具 不 仅 具 有 类 似 电子 表格 程序 的 透视 和 数据 处 理 能 力 ， 还 具 
有 超出 演示 程序 的 图 表 图 形 绘制 能 力 。 现 在 这 些 工具 还 增加 了 新 的 功 
能 ， 如 连接 大 型 数据 库 、 可 视 化 交互 分 机 、 随 意 探索 和 下 钻 等 。 这 让 分 
析 变 得 极为 强大 。 

数据 可 视 化 的 大 前 所 是， 只 看 大 表 或 一 组 数字 来 确定 趋势 ， 但 是 ， 
这 对 人 类 是 相当 困难 的 。 通 过 恰当 的 可 视 化 处 理 ， 观 察 趋势 就 变 得 容易 
多 了 。 一 些 数据 可 视 化 图 形 ， 如 社交 网 络 图 形 ， 其 传递 的 信息 几乎 无 法 
用 其 他 方式 来 进行 理解 或 描述 。 

试想 一 下 ， 试 图 网 东 人 有 效 地 解释 各 个 国家 的 地 理 分 布 ， 但 却 没 有 
一 张 地 图 在 旁边 作为 参考 。 一 旦 你 看 到 一 张 地 图 ， 你 就 能 确切 地 知道 这 
些 国 家 的 准确 位 置 ， 以 及 它们 之 间 的 关联 。 如 果 不 使 用 可 视 化 图 形 而 只 
用 文字 表达 出 相同 的 信息 ， 就 算 使 用 非常 多 的 文字 解释 ， 也 很 难 达 到 可 
视 化 图 形 传达 信息 的 清晰 程度 。 

用 图 形 说 话 

人 类 的 大 脑 可 以 很 精确 地 理解 视觉 输入 。 一 个 有 效 的 可 视 化 图 片 可 以 立刻 真实 地 在 你 脑海 中 
模仿 出 类 似 的 画面 。 只 看 传统 的 电子 表格 或 报告 ， 你 很 难 找到 想 要 的 内 容 ， 也 很 容易 错过 重要 
的 发 展 趋势 。 图 形 会 说 话 ， 很 多 时 候 一 图 胜 干 言 。 







































































模拟 智能 是 商业 分 析 工 具 中 还 没有 完全 实现 的 一 种 新 技术 。 模 
拟 智 能 的 概念 是 借用 3D、《 第 二 人 生 》 等 虚拟 网 上 世界 以 及 用 于 基因 
研究 的 先进 的 可 视 化 工具 背后 的 图 形 处 理 能 力 。 然 后 ， 使 用 这 些 技术 来 





提供 一 个 可 靠 的 、 交 互 式 的 数据 视图 。 有 哪些 方法 可 以 在 一 个 交互 的 
3D 环 境 中 对 数据 进行 处 理 并 获得 深入 洞察 ? 时 间 会 告诉 我 们 答案 。 

可 视 化 确实 可 以 使 我 们 获得 其 他 模式 无 法 提供 的 深入 洞察 。 分 析 专 
家 现在 可 以 使 用 这 些 工具 进行 数据 探索 和 开发 分 析 应 用 。 一 些 分 析 专 家 
还 会 使 用 一 些 专 门 用 于 图 形 和 演示 文 稳 的 可 视 化 工具 。 这 些 可 视 化 工具 
比 传统 的 制图 工具 更 快 、 更 可 靠 。 男 外 ， 如 果 有 人 在 演示 过 程 中 提出 一 
个 问题 ， 他 们 能 够 在 展示 过 程 中 下 销 并 立刻 获得 答案 。 没 有 这 种 工具 
前 ， 他 们 常常 需要 绘制 新 的 图 表 ， 并 承诺 在 第 二 天 上 午 发 送出 去 。 任 何 
希望 驾驭 大 数据 的 企业 ， 虱 需 要 考虑 向 工具 箱 中 添加 可 视 化 工具 。 

可 视 化 对 高 级 分 析 为 什么 如 此 重要 

在 第 8 章 中 ， 我 们 将 详细 讨论 沟通 和 交付 分 析 成 果 对 于 分 析 的 重要 
性 。 分 析 专 家 们 经 常 需要 对 非 搁 术 的 业务 人 员 解 释 复 哥 的 分 析 结 果 。 任 
何 对 完成 这 项 任务 有 帮助 的 事物 都 是 好 事物 。 数 据 可 视 化 就 属于 这 一 类 
2 

如 果 没 有 必要 ， 为 什么 要 描述 清楚 逻辑 分 析 的 所 有 细节 ? 如 果 一 个 
简单 的 收益 或 提升 图 表 就 可 以 告诉 业务 伙伴 他 真正 想 知道 的 所 有 的 一 
切 ， 那 么 参数 估计 、 等 分 统计 、 模 型 评估 统计 等 信息 就 是 矫 枉 过 正 。 细 
节 需 要 备份 ， 但 业务 伙伴 不 应 考虑 过 多 的 技术 细节 ， 他 们 相信 分 析 专 家 
会 处 理 好 这 些 技术 细节 。 

如 果 有 一 个 决策 树 样 式 的 可 视 化 描述 ， 那 么 没有 多 少 人 会 愿意 看 很 
长 的 业务 规则 描述 清单 。 如 果 想 了 解 人 条 个 赌场 或 零售 商店 哪些 区 域 最 
忙 ， 一 种 选择 是 创建 一 堆 数字 表格 ， 把 它们 摊 在 在 果 上 ， 演 试 分 析出 其 
中 的 模式 。 你 也 可 以 简单 地 绘制 一 个 赌场 或 零售 商店 的 热点 分 布 图 ， 图 
形 中 的 不 同 颜色 代表 不 同 的 活跃 程度 ， 答 案 立 即 就 会 变 得 明显 。 


影响 力 ， 而 不 十 深 腕 
重要 的 是 专注 于 可 视 化 的 影响 力 ， 让 一 个 观点 更 容易 地 被 看 到 和 理解 。 可 太 多 的 人 沉溺 于 使 













































































用 绚丽 的 分 析 图 形 ， 仅 仅 因为 他 们 可 以 这 么 做 。 事 实 上 ， 简 单 才 是 最 好 的 ， 除 非 有 明确 的 需 
求 ， 否 则 不 应 该 使 用 过 于 绚丽 或 复杂 的 图 形 。 
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请 注意 ， 我 们 强调 的 不 是 图 形 本 身 。 很 多 人 经 党 使 用 过 于 复杂 的 图 
形 ， 仅 仅 是 因为 他 们 可 以 这 么 做 。 实 际 上 ， 一 个 不 加 任何 分 析 内 容 的 
3D 条 形 图 看 起 来 很 华丽 ， 但 比 2D 条 形 图 更 难以 阅读 和 理解 。 重 点 应 该 
放 在 可 视 化 的 有 效 性 与 影响 力 上 ， 即 可 以 比 其 他 方式 更 清楚 地 说 明 要 扣 
上 。 一 个 很 漂 襄 但 没有 要 氮 的 图 形 只 会 减损 需 传 递 的 信息 ， 造 成 混乱 。 

有 时 候 一 个 简单 的 表格 就 足够 了 。 在 某 些 情况 下 ， 一 个 合适 的 可 视 
化 内 容 会 让 客户 对 要 点 的 理解 程度 提升 好 几 个 数量 级 。 回 想 一 下 我 们 之 
前 提 到 过 的 地 图 的 例子 。 理 解 如 何 可 视 化 数据 与 结果 可 以 帮助 分 析 专 家 
更 好 、 更 有 效 、 更 成 功 地 工作 。 可 视 化 工具 的 影响 才刚 刚 开始 。 这 些 工 
具 未 来 将 被 更 多 地 用 于 分 析 和 交流 结 


新 数据 每 一 次 都 会 胜 过 新 的 工具 和 方法 

新 的 数据 输入 对 模型 的 影响 要 远 远大 于 新 的 工具 或 方法 。 在 传统 的 分 析 流程 中 增加 新 的 数据 
会 显著 提升 分 析 效 果 ， 这 比 新 工具 和 新 方法 的 提升 更 多 更 明显 。 这 就 是 为 什么 重要 的 是 获取 大 
数据 ， 而 不 是 简单 地 升级 并 处 理 你 已 有 的 数据 。 



















































































最 后 要 提醒 读者 ， 本 章 的 重点 是 分 析 工 具 和 方法 的 演进 。 对 于 分 析 
的 质量 和 效果 ， 可 用 的 新 数据 比 工具 和 方法 本 刁 有 更 大 影响 力 。 例 如 ， 
获得 了 以 前 不 具备 的 客户 浏览 Web 详 细 数 据 会 显赫 提升 倾 癌 模型 的 预测 
效果 ， 这 种 效果 提升 要 远 远大 于 逻辑 回归 或 组 合 模 型 等 具体 算法 的 创 
新 。 工 具 的 进步 有 助 于 获得 最 新 的 数据 源 ， 但 是 数据 本 身 才 是 最 重要 的 
价值 驱动 因素 。 这 束 是 为 什么 企业 要 不 断 收集 和 使 用 各 类 可 用 大 数据 源 
的 根本 原因 。 


























6.3 本章 小 结 


以 下 是 本 章 的 主要 内 容 。 

四 ”组合 模型 利用 了 群体 的 智慧 ， 通 过 组 合 多 种 方法 的 预测 结果 ， 最 

获得 了 比 每 种 方法 都 要 好 的 答案 。 

四 简易 模型 的 目标 是 快速 并 尽量 自动 化 地 开发 一 个 足够 好 的 模型 ， 
而 模型 是 否 最 优 ， 所 有 精力 是 否 用 尽 ， 这 些 并 不 是 关注 的 重点 。 

四 简易 模型 把 模型 的 应 用 扩展 到 了 低 价值 的 问题 ， 也 包括 那些 需要 
对 大 量 模型 进行 人 工 调整 的 复杂 问题 。 

四 ”大 数据 的 时 代 ， 文 本 分 析 已 经 成 为 一 个 非常 重要 的 主题 。 文 本 数 
据 的 处 理 方法 发 展 迅 速 ， 并 得 到 了 广泛 应 用 。 

四 ”文本 分 析 的 一 个 巨大 挑战 是 ， 仅 仅 词语 本 身 并 不 能 说 明 全 部 问 
题 ， 因 为 在 文本 中 没有 包含 重音 、 语 调和 变调 等 信息 。 

四 ”用户 界 面 已 经 发 展 到 包括 强大 的 图 形 、 可 视 化 工作 流 图 表 和 专业 
的 单 点 解决 方案 。 

四 ”用户 界面 是 分 析 专 家 提升 生产 力 的 工具 ， 前 提 是 这 些 分 析 专 家 知 
道 自己 在 做 什么 ， 并 能 确保 该 工具 “最 适当 地 ”工作 ， 在 友好 的 使 用 界面 
下 其 实 更 容易 把 事情 搞 砸 。 

四 ” 单 点 分 析 解 决 方案 专注 本 一个 具体 领域 的 分 析 ， 如 敬 诈 或 定价 ， 
并 在 该 领域 内 进行 深入 分 析 。 这 些 工具 的 影响 力 在 不 断 地 提升 。 

四 “及 是 一 个 开源 分 析 工 具 ， 近 年 来 被 越 来 越 多 地 使 用 。R 的 一 个 优 
点 是 在 软件 中 增加 新 算法 的 速度 ， 它 的 一 个 缺点 是 其 目前 缺乏 企业 级 的 
分 析 可 扩展 性 。 

四 “与 文字 解释 或 电子 表格 数据 相 比 ， 可 视 化 方式 可 以 更 容易 地 发 现 
模式 。 现 代 可 视 化 工具 可 以 直接 连接 数据 库 ， 建 立 数据 联系 与 交互 式 分 
析 图 形 ， 有 具备 比 传统 图 表 分 析 工 具 更 多 的 可 视 化 选项 。 

四 数据 可 视 化 的 重点 不 是 华丽 的 几 形 ， 而 是 如 何 对 数据 进行 展示 ， 





























以 获得 对 分 析 结 论 更 深入 地 理解 。 
注释 
_0) 。 你 可 以 在 这 个 网 站 找到 更 多 相关 信息 : www.DMG.org。 


(2) ”麦肯锡 管理 咨询 公司 ，Clearing the Air on Cloud Computing，2009 年 3 月 。 
































(3) ”美国 国家 标准 技术 研究 所 ， 草 案 ，NIST Working Definition of Cloud Computing，8- 





21-09， 第 15 版 ，http://csrc.nist.gov/publications/drafts/800-146/Draft-NIST-SP800-146.pdf。 





_(4) ”美国 国家 标准 技术 研究 所 ，www.nist.gov/itl/cloud/index.com。 








_(5) ” 译 者 注 : 英文 有 26 个 字母 。 


(6) Giovanni Seni and John Elder, Ensemble methods in Data Mining: Improving Accuracy 





through Combining Predictions, Morgan and Clay-pool Publishers, 2010. 
_(7) James Surowiecki, The Wisdom of Crowds, Anchor Books, 2005. 
_(8) The Comprehensive R Network (CRAN), http://cran.r-project.org/doc/FAQ/R- 
FAQ.html#Why-is-R-Named-R_03f. 
_(9) Edward R. Tufte, www.edwardtufte.com/tufte/books vddqdi. 
(10) Edward R. Tufte, www.edwardtufte.com/tufte/minard. 


(11) ImmerSive Intelligence Colleagues, http://im-tel.org/. 
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第 7 章 


如 何 提 供 优 质 分 析 


计算 统计 、 撰 写 报表 、 使 用 模型 算法 ， 这 些 都 是 提供 优质 分 析 的 过 
程 中 的 茶 一 步骤 。 世 界 上 并 不 存在 一 个 按钮 ， 可 以 让 你 通过 简单 的 一 步 
就 得 到 满意 的 分 析 结 果 。 如 采 不 理解 或 没有 专注 于 分 析 需 求 ， 将 带 来 许 
多 麻烦 或 导致 错误 的 分 析 结 论 ， 最 终 将 产生 大 量 的 额外 工作 。 

这 一 草 将 讨论 许多 这 方面 的 主题 ， 我 们 首先 要 认 清 一 些 概念 ， 然 后 
我 们 将 讨论 一 些 与 创建 一 个 优质 分 析 相 关 的 主题 。 每 个 主题 都 包含 一 些 
教训 与 赫 异 原则 ， 惑 是 这 些 细微 兰 别 让 分 析 不 同 于 报表 和 统计 结果 ， 也 
是 有 意义 的 分 析 与 无 意义 分 析 的 区 别 所 在 。 

我 们 讨论 的 这 些 原 则 应 用 非常 广泛 ， 并 不 只 适用 于 大 数据 。 大 数据 
增加 了 企业 处 理 数 据 的 复杂 度 ， 因 此 对 大 数据 而 言 ， 坚 持 处 理 原 则 就 变 
得 更 加 重要 。 如 果 你 的 公司 只 使 用 报表 将 无 法 驾驭 大 数据 ， 你 也 不 能 使 
用 不 规范 的 分 析 方 法 来 处 理 大 数据 。 


7.1 分 析 与 报表 


许多 组 织 认 为 分 析 与 报表 是 一 回 事 。 这 种 观点 看 起 来 好 像 很 对 ， 因 
此 我 们 需要 深入 讨论 一 下 。 报 表 很 重要 并 且 很 有 价值 ， 正 确 使 用 报表 可 
以 显著 地 提升 价值 。 但 是 报表 有 它 的 局 限 性 ， 我 们 必须 知道 这 个 局 限 性 
征 什么 。 

忆 体 来 说 ， 一 个 组 织 要 想 在 大 数据 方面 有 所 成 束 ， 报 表 和 分 析 都 不 
能 少 。 这 一 结论 是 显而易见 的 ， 正 如 二 者 已 经 在 之 前 的 其 他 数据 源 上 发 
挥 了 很 大 作用 一 样 。 关 键 问题 是 清楚 地 理解 报表 和 分 析 的 区 别 。 男 外 ， 
还 需要 明白 二 者 的 共同 之 处 。 如 果 没 有 这 些 深刻 的 理解 ， 你 的 企业 一 定 




















会 在 这 方面 吃亏 。 





思想 是 分 析 之 父 
分 析 可 以 生成 报表 ， 报 表 也 可 以 生成 分 析 。 大 多 数 情 况 下 是 报表 生成 分 析 。 例 如 ， 你 可 能 有 
十 个 报表 在 桌子 上 ， 把 握 它们 中 的 关键 信息 ， 总 结 出 你 的 新 发 现 ， 并 搞 清楚 这 意味 着 什么 ， 这 
就 是 分 析 。 正 是 人 们 在 数据 和 统计 领域 中 的 思想 和 思考 创造 了 分 析 。 没 有 经 过 翻译 和 解释 的 数 
据 和 统计 是 没有 用 的 。 












































7.1.1 报表 


让 我 们 先 来 给 报表 下 个 定义 。 报 表 环 境 常 被 称 为 商业 智能 (BI) 环 
境 。 正 是 在 这 种 环境 中 ， 使 用 者 选择 他 们 想 要 运行 的 报表 ， 执 行 该 报表 
并 查看 结果 。 这 样 的 报表 或 许 会 包含 表格 、 图 形 、 图 表 或 它们 的 结合 。 
以 下 是 定义 报表 的 关键 因素 。 

四 ”报表 能 够 将 所 需 的 数据 反馈 给 使 用 者 。 

四 数据 将 以 标准 的 、 预 定义 的 格式 呈现 。 

四 在 生成 报表 的 过 程 中 ， 除 了 通过 报表 界面 请 求 报表 的 使 用 者 外 ， 
没有 其 他 人 参与 《我们 假定 报表 模块 已 经 被 创造 和 部 车 好 了 ) 。 

四 ”综合 以 上 几 点 ， 报 表 不 够 灵活 。 

我 们 需要 江 清 最 后 一 点 。 创 建 复杂 报表 模块 的 同时 ， 可 以 创建 多 种 
提示 〈prompts) 和 算 选 (filters) 。 在 这 种 报表 内 很 可 能 包含 有 多 种 选 
项 ， 但 有 了 那些 预定 义 选 项 的 限制 后 ， 报 告 就 变 得 相当 不 灵活 了。 一 般 
的 使 用 者 很 难 生成 全 新 的 报表 ， 或 者 检查 那些 预定 义 的 提示 和 筛选 是 怎 
样 工作 的 。 使 用 者 可 能 选择 仅仅 简单 地 填写 那些 默认 的 提示 和 筛选 。 

一 种 误 用 报表 的 情况 是 : 手头 上 有 大 量 可 用 的 报表 ， 但 误 以 为 它们 
征 大 量 可 用 的 分 析 。 这 种 现象 在 许多 组 织 中 都 很 常见 。 管 理 商 业 智 能 环 
卉 的 IT 人 员 会 说 , “我 们 有 世界 一 流 的 BI 环 境 。 我 们 有 500 多 份 可 用 的 报 

















表 ， 它 们 可 以 履 盖 任何 商业 领域 ， 任 何人 的 需求 。 我 们 的 业务 人 员 拥 有 
他 们 想 要 的 一 切 。” 

同时 ， 业 务 人 员 会 说 ,“ 太 失望 了 ! 我 们 花费 了 一 两 年 时 间 来 创建 这 
个 报表 系统 ， 但 我 依然 没有 得 到 我 需要 的 。” 如 果 业 务 人 员 和 IT 人 员 走 
到 一 个 屋子 里 ， 会 话 往 往 是 这 样 开始 的 ， 商 务 人 员 抱 候 他 们 没有 得 到 目 
己 需 要 的 分 析 结 果 ，IT 人 人 员 会 说 , “你 们 真是 狐 了 ! 有 500 份 可 用 报表 还 
不 够 吗 ? ”最 终 导 致 双方 相互 指责 。 

分 收 源 于 下 面 的 事实 : 好 像 埋藏 在 500 份 报表 中 的 东西 才 是 业务 人 员 
所 需要 的 。 但 当 报 表 多 达 500 份 时 ， 他 们 很 难 从 中 找 出 自己 想 要 的 。 田 
外 ， 任 何 两 个 人 都 希望 用 不 同 的 想法 看 待 同一 件 事情 。 每 一 个 商务 人 员 
都 希望 在 报表 上 有 一 个 额外 的 度量 标准 ， 或 者 用 一 种 不 同 的 方式 去 组 织 
报表 。 或 许 会 有 500 份 报表 摆 在 那里 ， 但 是 没有 一 份 是 任何 商务 人 员 都 


想 要 的 。 


在 报表 中 ， 数 量 不 重要 
许多 IT 组 织 致 力 于 建立 尽 可 能 多 并 且 尽 可 能 履 盖 所 有 话题 的 报表 。 这 可 能 受到 业务 人 员 的 如 
下 行为 驱使 :他 们 提交 了 禾 盖 他 们 所 有 可 能 用 到 的 所 有 可 能 的 需求 ， 而 不 是 他 们 真正 需要 并 且 
会 使 用 的 需求 。 结 果 ， 业 务 人 员 收 到 各 种 各 样 的 报表 ， 可 还 是 得 不 到 他 们 想 要 的 信息 。 将 焦点 
放 到 提供 紧密 关联 的 有 限 报 表 上 。 不 要 掉 进 这 个 陷阱 : 认为 拥有 最 多 报表 的 那个 人 会 获得 胜 
利 ! 


































































































与 生成 500 份 各 种 类 型 的 报表 相 比 ， 提 供 少量 满足 终端 使 用 者 需求 的 
报表 的 效果 要 好 很 多 。 重 要 的 是 报表 的 相关 性 ， 而 不 是 报表 的 数量 。 然 
而 通常 情况 是 ， 人 们 更 多 地 关注 报表 数量 而 不 是 相关 性 。 正 如 我 们 接 下 
来 要 讨论 的 那样 ， 即 使 拥有 了 所 有 商业 报表 的 完美 组 合 ， 仍 然 无 法 提供 
优质 分 析 ， 而 这 些 报表 仅仅 是 分 析 流 程 中 所 需 的 一 些 数据 而 已 。 

有 的 时 候 我 们 不 需要 对 报表 进行 深入 分 析 。 例 如 ,假定 你 有 一 个 每 








周 产 品 的 销售 报表 ， 并 且 你 想 知道 你 的 产品 是 否 达 到 了 它们 上 周 的 销售 
目标 。 通 过 运行 这 个 报表 ， 答 案 很 快 束 哇 现在 了 你 的 面前 ， 也 就 没有 做 
进一步 的 工作 或 分 析 的 必要 了 。 这 是 增加 报表 价值 的 一 种 方式 ， 它 们 能 
够 快速 简洁 地 回答 常见 的 问题 。 如 果 一 切 顺 利 ， 那 么 就 没有 做 进一步 工 
作 的 必要 了 。 如 果 菏 些 事情 看 起 来 与 期 望 不 符 ， 那 么 再 做 进一步 的 分 
析 。 


7.1.2 ”分析 


定义 了 报表 之 后 ， 我 们 再 来 定义 分 析 。 由 此 ， 我 们 便 可 比较 和 对 比 
两 者 。 以 下 是 定义 分 析 的 关键 点 。 
分 析 提 供 问题 的 答案 。 
分 析 流 程 要 执行 许多 必要 的 步骤 来 获得 问题 的 答案 。 
因此 ， 分 析 是 为 解决 特定 问题 定制 的 。 


图 
图 
国 
四 ”分析 需要 一 个 指导 分 析 流 程 的 人 。 
国 
分 














分 析 流 程 是 灵活 的 。 

} 析 大 概 束 是 说 :“ 我 知道 了 问题 ， 我 将 整合 一 切 所 需 的 东西 去 解决 
这 个 问题 。” 这 是 一 个 相互 作用 的 过 程 : 一 个 人 处 理 一 个 问题 ， 找 到 获 
得 答案 所 需 的 数据 ， 分 析 那 些 数据 ， 然 后 还 需要 解释 分 析 结 果 以 便 为 接 
下 来 的 行动 提供 建议 。 以 下 是 分 析 与 报表 区 别 的 总 结 ， 如 表 7-1 所 示 。 

表 7-1 分 析 和 报表 的 总 结 


提供 数据 
提供 要 求 的 东西 提供 需要 的 东亚 
标准 化 目 定 义 

下 涉及 人 涉及 人 











相当 不 灵活 分 灵活 
报表 与 分 析 之 间 的 相互 影响 与 相互 作用 很 常见 ， 也 很 有 必要 。 事 实 
上 ， 它 们 彼此 会 使 对 方 更 加 有 效 。 例 如 ， 考 虑 这 样 一 种 情形 ， 一 个 销售 





经 理 拿 着 一 份 基础 销售 总 结 报 表 ， 这 份 报表 显示 了 该 地 区 的 月 销售 情 
况 。 这 份 报表 很 简单 ， 销 售 经 理 查 看 了 每 一 天 的 销售 情况 ， 然 后 他 将 对 
业务 是 否 在 正常 运转 有 个 大 致 判断 。 直 到 有 一 天 ， 他 看 到 一 些 反常 的 数 
据 ， 甚 至 他 目 己 也 摘 不 懂 。 于 是 ， 他 走出 大 厅 去 提醒 分 析 团 队 ， 告 诉 他 
们 销售 总 结 报表 上 有 一 些 奇 怪 的 数据 。 销 售 经 理 要 求 他 们 深入 挖掘 ， 以 
搞 清楚 到 底 发 生 了 什么 。 他 的 这 个 基于 报表 的 要 求 产生 了 一 个 分 析 ， 而 
这 正 是 分 析 专 家 应 该 做 的 事情 。 

为 一 方 和 面 ， 讨 论 一 下 被 指定 的 分 析 专 家 将 如 何 解决 这 个 问题 。 他 检 
但 并 识别 出 了 问题 的 深层 原因 。 过 了 一 会 儿 ， 他 回来 了 ， 并 向 销售 经 理 
展示 了 他 的 友 现 。 经 理 或 许 会 说 ， 他 刚才 整理 得 到 的 数据 真是 太 有 用 
了 。 他 生 了 新 的 报表 并 确定 了 产生 经 理 所 述 问题 的 原因 ， 经 理想 要 在 以 
后 的 基本 分 析 中 看 到 与 新 报表 相似 的 信息 ， 即 使 销售 数据 目前 看 起 来 仍 
处 在 正轨 上 。 

刚才 发 生 了 什么 ? 他 对 一 个 问题 的 分 析 导 致 了 一 个 新 的 报表 标准 的 
问世 。 他 将 他 所 做 的 事情 进行 了 目 动 化 ， 且 这 成 为 了 一 个 新 的 报表 标 
准 。 

当 你 的 组 织 试图 驾驭 大 数据 时 ， 一 个 优质 分 析 可 能 会 是 这 样 的 ,把 
你 所 拥有 的 数据 以 一 种 不 同 的 方式 ， 围 绕 新 的 目标 进行 分 解 。 这 是 用 一 
种 前 所 未 有 的 视角 来 查看 业务 状况 。 分 析 专 家 所 做 的 大 量 工 作 可 能 不 会 
那样 令 人 兴奋 ， 他 们 通常 以 分 析 前 的 数据 准备 工作 和 大 量 的 简单 计算 作 
为 分 析 工 作 的 起 后。 


分 析 的 价值 在 于 使 用 不 同 的 方式 观察 数据 

分 析 的 关键 不 是 将 问题 复杂 化 。 有 时 一 个 简单 的 分 析 就 会 提供 所 有 的 答案 。 以 不 同 的 方式 看 
待 数据 常常 会 产生 强大 的 洞察 。 如 果 没有 必要 更 花哨 ， 就 停止 在 当前 的 程度 上 。 另 外 ， 要 乐于 
发 现 新 的 、 简 单 的 解决 方案 ， 并 快速 把 注意 力 转移 到 下 一 个 问题 上 。 













































































在 一 个 问题 变 得 清晰 前 ， 通 常 没有 必要 搞 得 太 花 哨 。 价 值 在 于 用 不 
同 的 方式 做 事情 ， 而 不 是 做 一 些 花 哨 的 事情 。 例 如 ， 或 许 在 零售 连锁 企 
业 中 出 现 了 反 利 的 销售 情况 。 一 种 解决 方案 是 建立 一 个 复杂 的 预测 模 
型 ， 这 个 模型 仅仅 旨 在 决定 是 什么 因 和 又 造成 了 那些 反常 。 然 而 ， 第 一 步 
首先 是 查看 供应 链 上 是 人 否 出 现 了 问题 。 也 许 是 运输 延误 或 者 恶劣 的 天 气 
导致 消费 者 哄 在 了 家 中 。 如 果 已 经 足以 确定 销售 反常 的 原因 ， 那 就 没 必 
要 建立 一 个 花哨 的 模型 。 你 通过 一 个 简单 的 分 析 就 找到 了 原因 ， 而 分 析 
也 可 以 到 此 为 止 。 











7.2 分 析 的 G.R.E.A.T 原 则 


有 价值 和 影响 力 的 分 析 才 是 优质 分 析 。 为 了 使 一 个 分 析 能 够 增值 ， 
需要 把 大 量 的 因素 进行 汇总 。 优 质 分 析 和 无 效 分 析 的 区 别 是 什么 呢 ? 优 
质 分 析 符 合 G.R.E.A.T 原 则 (指导 性 、 相 关 性 、 可 解释 性 、 可 行 性 、 及 
时 性 ) 。 下 面 让 我 们 简要 说 明 一 下 这 个 原则 。 











7.2.1 导 回 性 〈Guided ) 





一 个 优质 分 析 会 以 业务 需求 为 导 癌 。 完 成 分 析 不 仅仅 因为 它 很 有 趣 
或 充满 了 乐趣 ， 尤 其 是 针对 大 数据 的 分 析 ， 分 析 人 员 很 容易 陷入 一 些 有 
趣 却 不 相关 的 分 析 工 作 中 。 伟 大 的 分 析 总 是 从 一 个 特定 的 业务 问题 开始 
的 。 一 旦 开始 ， 分 析 将 会 以 所 需 解决 的 问题 为 导 癌 。 分 析 的 每 一 个 步骤 
都 应 该 以 所 需 解决 的 问题 为 导 问 。 


7.2.2 ”相关 性 (Relevant) 





显然 ， 一 切 优质 分 析 都 必须 同业 务 相 关 。 这 并 不 意味 着 随意 地 选择 
一 个 业务 问题 。 所 选择 的 问题 应 该 是 这 样 的 :业务 人 员 需 要 一 个 解决 方 











和 案 ， 并 且 业 务 人 员 有 能 力 解决 这 个 问题 。 如 果 产 品 已 经 停产 ， 那 么 评估 
不 同 群 体 顾客 对 该 产品 价格 的 敏感 程度 就 变 得 没有 意义 了 。 








7.2.3 可 解释 性 〈Explainable ) 


一 个 优质 分 析 需 要 被 有 效 地 进行 解释 ， 这 对 基于 分 析 的 所 要 采取 的 
音 施 来 说 很 有 必要 。 技 术 细 节 可 能 会 成 为 分 析 是 否 有 效 的 证 据 ， 分 析 结 
果 必 须 以 决策 者 可 以 理解 和 消化 的 方式 展现 出 来 。 一 个 优质 的 分 析 ， 是 
可 解释 的 ， 且 容易 被 决策 者 接受 并 使 用 。 

7.2.4 可行 性 (Actionable) 

一 个 优质 分 析 是 可 行 的 。 它 会 指出 有 具体 的 步骤 ， 企 业 可 以 利用 这 些 
步骤 来 改进 自身 的 业务 。 如 果 企 业 绝 对 不 会 将 一 些 商 店 移动 到 一 公里 以 
外 ， 那 么 我 们 的 分 析 中 束 不 应 该 有 类 似 的 步骤 。 如 果 没 有 能 力 去 实施 这 


些 步 又， 那么 分 析 只 是 无 稽 之 谈 。 





7.2.5 ”及 时 性 〈Timely ) 


一 个 优质 分 析 需 要 被 及 时 提交 ， 这 样 才能 在 需要 做 决定 的 时 刻 发 挥 
作用 。 如 采 一 个 问题 需要 下 周 解 决 ， 那 么 下 个 月 才 给 出 答案 将 无 济 于 
事 。 茶 个 分 析 方 案 可 能 会 在 各 个 方面 十 分 完美 ， 但 是 它 无 法 被 及 时 完 
成 ， 从 而 导致 无 法 文 持 决策 。 如 宁 是 这 样 的 话 ， 选 择 另 一 个 问题 ， 把 精 
力 用 到 那个 问题 上 面 。 一 个 迟到 的 分 析 不 是 优质 的 分 析 。 


7.3 ”核心 分 析 方 法 与 高 级 分 析 方 法 


本 书 讲 了 许多 遍 级 分 析 方 法 。 这 就 涉及 了 一 个 问题 “高 级 ”分析 方 
法 与 其 他 的 分 析 方 法 有 什么 不 同 。 为 了 简单 起 见 ， 我 们 称 非 高 级 分 析 方 








法 为 核心 分 析 方 法 。 核 心 分 析 方 法 往往 会 提出 简单 的 问题 ， 并 提供 简单 
的 答案 。 一 个 核心 分 析 流 程 将 调查 发 生 了 什么 事 ， 什 么 时 候 发 生 的 ， 以 
及 造成 了 什么 影响 。 

我 们 来 举例 说 明 。 产 品 经 理 需 要 知道 上 个 月 的 促销 执行 情况 : 公司 
征 否 像 计 划 中 的 那样 获得 了 很 多 新 的 签约 用 户 ， 一 个 核心 分 析 将 如 何 研 
完 这 个 问题 ， 一 个 核心 分 析 也 许 会 但 看 到 底 有 多 少 用 户 签 约 了。 这 是 所 
发 生 的 事情 。 每 天 的 签约 数量 是 多 少 ， 这 是 事情 发 生 的 时 间 。 新 增 用 户 
市 来 了 多 少 收益 ， 以 及 与 基线 比较 后 情况 如 何 ， 这 和 古事 情 产 生 的 影 啊 。 

请 注意 ， 核 心 分 析 方 法 的 所 有 数据 都 是 由 标准 化 的 报表 提供 的 。 分 
析 本 里 是 验证 这 些 报表 、 给 出 参考 及 建议 措施 的 过 程 。 在 这 种 情况 下 ， 
分 析 报 表 将 包括 得 看 数量 以 及 确定 目标 是 否 达到 ， 人 然后 产品 经 理 可 以 确 
定 这 些 提升 是 否 可 以 被 认为 是 成 功 的 。 

问题 是 ， 这 种 核心 分 析 方 法 无 法 处 理 一 些 基 而 未 决 的 问题 ， 比 如 
说 ， 为 什么 那 项 提升 会 产生 这 些 结果 ， 在 未 来 我 们 可 以 为 此 做 些 什么 ? 


对 高 级 分 析 方 法 的 研 守 越 来 越 深 入 

高 级 分 析 方法 基于 发 生 了 什么 事情 ， 什 么 时 候 发 生 的 以 及 结果 产生 的 影响 。 这 种 方法 还 尝试 
辨别 是 什么 导致 了 事情 的 发 生 和 未 来 我 们 可 以 做 哪些 事情 。 高 级 分 析 方法 包括 了 大 量 的 活动 ， 
包括 复杂 的 SQL 即席 查询 、 预 测 模型 、 数 据 挖 气 、 预 测 ， 以 及 其 他 类 似 的 活动 。 





















































高 级 分 析 方 法 远 胜 于 核心 分 析 方 法 。 高 级 分 析 方 法 包括 从 复杂 的 
SQL 即席 碍 询 到 预测 、 数 据 挖掘 、 预 调 模 型 的 方方面面 。 一 个 常见 的 问 
题 是 ， 高 级 分 析 方 法 与 数据 挖掘、 预 汕 或 预测 模型 有 什么 不 同 ? 答案 
征 ， 这 些 复杂 算法 都 属于 高 级 分 析 方法 的 工作 范畴 。 此 外 ， 高 级 分 析 方 
法 还 包含 其 他 不 是 复杂 算法 的 分 析 过 程 ， 璧 如 SQL 即席 查询 一 个 是 日 党 
的 简单 SQL 碍 询 ， 而 是 包括 以 复杂 方式 合并 数据 源 的 、 高 度 复 杂 的 SQL 
查询 。 














这 些 复杂 分 析 活 动 〈 像 高 级 SQL 查询 ) 包含 在 高 级 分 析 定 义 中 的 原 
因 是 ， 高 级 分 析 方 法 的 主要 目的 是 量化 事件 的 起 因 ， 预 测 事件 再 次 发 生 
的 时 间 ， 以 及 识别 出 对 未 来 尚未 发 生 事 件 的 影响 。 有 时 它 并 不 要 求 有 一 
个 独特 的 模型 获得 你 回答 那些 问题 所 需要 的 洞察 。 

例如 ， 想 象 一 下 ， 一 个 公司 正在 探索 客户 浏览 网 站 的 行为 ， 并 做 一 
个 鉴别 在 网 站 上 浏览 商品 是 否 会 增加 客户 购买 或 者 不 购买 可 能 性 的 分 
析 。 由 于 网 站 数据 总 在 更 新 ， 解 析 网 站 数据 以 及 把 网 站 数据 与 其 他 的 顾 
客 数据 结合 起 来 的 工作 量 非常 大 。 那 么 ， 开 始 阶段 的 也 许 是 类 似 于 关联 
分 析 的 简单 分 析 ， 这 样 做 的 直接 结果 就 是 ， 不 需要 建立 一 个 特定 的 模型 
和 流程 。 如 果 发 现 了 浏览 商品 与 销售 之 间 的 强烈 关联 ， 那 么 这 家 公司 将 
针对 那些 只 想 浏 览 商 品 而 不 购买 的 顾客 指定 更 适合 的 营销 集 略 。 或 许 以 
后 他 们 会 想 更 加 精确 地 量化 它们 之 间 的 关系 ,但 是 短期 内 ， 他 们 会 自信 
地 相信 上 自己 已 经 找到 了 一 种 可 以 从 中 获 益 的 模式 ， 所 以 他 们 会 使 用 它 。 

高 级 分 析 方 法 是 企业 整体 分 析 策 略 中 的 一 个 重要 部 分 ， 有 助 于 一 个 
机 构 达 到 一 个 更 高 水 平 。 高 级 分 析 方 法 包括 非常 复杂 的 SQL， 或 连同 建 
模 、 预 测 、 数 据 挖掘 及 类 似 原 理 的 数据 操作 ， 然 而 ， 企 业 中 并 没有 那么 
多 能 做 高 级 分 析 的 人 ， 那 些 人 可 以 提供 强 有 力 的 铜 罕 。 


7.4 坚持 你 的 分 析 


优质 分 析 必 须 被 严格 地 执行 。 需 要 留意 的 一 个 第 见 陷阱 是 随意 选取 
分 析 工 作 的 成 果 ， 通 党 企业 内 都 会 有 一 些 已 经 工作 了 很 长 时 间 的 经 理 ， 
当 没 有 选择 而 只 能 依靠 直 党 做 决定 时 ， 他 《她 ) 们 就 会 出 现 ， 而 他 们 的 
猜测 通常 被 证 明 效 果 不 错 。 在 企业 里 很 难 找到 直觉 总 是 正确 的 高 水 平 人 
才 ， 由 于 他 们 很 善于 做 出 正确 的 选择 ， 所 以 他 们 在 企业 内 如 鱼 得 水 。 分 
析 的 目的 并 不 是 完全 丛 代 这 些 经 理 的 经 验 与 想法 ， 而 是 要 根据 实践 来 完 


善 分 析 。 















































有 些 企业 会 坚持 使 用 数字 和 数据 指导 他 们 要 做 的 事情 ， 有 许多 这 方 
面 的 成 功 案 例 。 有 些 高 级 管理 人 员 会 要 求 做 个 分 析 来 看 数据 是 人 否 文 持 他 
正在 考虑 的 行动 。 当 分 析 结 果 文 持 这 个 行动 时 ， 分 析 通 单 被 用 来 进一步 
证 明 这 个 决定 ， 并 显示 这 个 决定 是 有 数据 文 持 的 ， 完 成 这 项 分 析 工 作 的 
专家 将 会 受到 极 大 的 称赞 。 听 起 来 这 是 一 个 很 棒 的 结果 ， 难 道 不 是 吗 ? 

当 分 析 专 家 建议 说 ， 或 许 经理 们 的 计划 没有 看 起 来 那么 好 时 ， 问 题 
束 出 现 了 。 如 果 一 个 企业 的 首席 执行 官 承诺 会 进行 分 析 ， 并 基于 事实 做 
出 决定 ， 那 么 他 们 有 必要 重新 考 碟 这 个 计划 。 然 而 ， 经 党 发 生 的 情况 
是 ， 分 析 结 果 被 藏 到 了 架子 底 下 ， 反 正 建 议 也 提 过 了 。 在 解释 决定 的 原 
因 时 ， 高 管 们 疫 有 提 到 这 项 分 析 ， 只 提 及 了 公司 应 该 执行 该 计划 的 其 他 
原因 。 

前 面 的 例子 就 是 “随意 选取 分 析 成 果 ”， 即 只 有 结 末 对 原 定 目标 有 攻 
助 时 才 使 用 分 析 。 如 果 你 打算 使 用 一 种 分 析 方 法 ， 你 必须 通过 董事 会 的 
批准 并 坚持 使 用 。 随 意 选取 ,或 者 只 有 妆 结 果 文 持 既 定 方 案 时 才 使 用 该 
分 析 结 果 ， 这 些 做 法 无 论 如何 都 无 法 改善 你 的 业务 。 它 只 是 做 了 你 一 定 
要 做 的 事情 ， 你 只 是 在 分 析 结 琳 文 持 你 的 情况 下 ， 使 用 分 析 结 果 作 为 一 
个 额外 理由 。 实 际 上 ， 没 有 任何 决策 会 因为 分 析 结 果 而 发 生 改变 ， 因 此 
这 种 分 析 没 有 任何 价值 ， 是 没有 意义 的 分 析 。 


不 要 随意 选取 ! 

最 严重 的 滥用 分 析 的 行为 是 随意 选取 分 析 结 果 。 当 分 析 结 果 对 既定 方案 有 用 时 ， 选 取 支 持 方 
案 的 分 析 结 果 。 但 是 ， 当 分 析 绪 果 与 原 有 计划 冲突 时 ， 它 们 会 忽视 这 些 分 析 结 果 。 当 随意 选取 
分 析 的 现象 在 企业 内 屡见不鲜 时 ， 而 企业 还 声称 它们 是 使 用 分 析 来 做 出 决定 的 ， 这 完全 是 一 种 
不 诚实 的 行为 。 因 为 在 这 种 情况 下 ， 没 有 任何 变化 或 改善 ， 很 多 额外 时 间 和 人 金钱 都 花 在 了 不 能 
产生 任何 变化 的 分 析 工 作 上 。 
















































































7.5 正确 地 分 析 问 题 


为 了 得 到 一 个 优质 分 析 ， 需 要 提出 正确 的 问题 ， 收 集 正 确 的 数据 ， 
设计 能 够 解答 这 个 问题 的 正确 的 分 析 方 案 。 也 许 优 质 分 析 和 劣质 分 析 最 
重要 的 兰 别 就 是 能 人 否 预 先 正 确 地 分 析 问 题 ， 其 次 的 兰 别 是 在 开始 阶段 是 
个 建立 了 正确 的 问题 分 析 框 架 ， 而 这 些 都 发 生 在 分 析 流 程 开 始 之 前 。 

建立 正确 的 问题 分 析 框 淋 ， 意 味 着 已 经 提出 了 重要 的 问题 ， 并 定义 
好 了 关键 的 假设 。 例 如 ， 获 得 更 多 收入 或 利润 是 一 项 新 倡议 的 目标 吗 ? 
不 同 的 答案 会 给 随后 的 分 析 过 程 与 执行 方案 带 来 巨大 的 影响 。 我 们 可 以 
拿 到 分 析 所 需 的 所 有 数据 吗 ? 或 者 有 必要 收集 更 多 的 数据 吗 ? 在 设计 分 
析 方 末 时 ， 考 虑 过 备 选 方案 吗 ? 如果 没 有 对 这 些 问 题 的 深刻 理解 ， 所 有 
的 分 析 工 作 都 将 是 无 用 的 。 这 会 导致 一 种 典型 的 场景 ， 即 输入 无 用 数 
据 ， 从 而 导致 输出 无 用 结果 。 

以 一 个 为 某 企 业 构 建 客户 分 类 模型 的 咨询 团队 为 例 ， 该 企业 有 B2B 
和 B2C 两 大 业务 板块 ， 咨 询 师 们 知道 该 企业 有 B2B 业 务 ， 但 其 业务 规模 
相对 较 小 ， 且 在 该 项 目的 任何 会 议 中 都 从 来 没有 提 及 过 B2B 的 业务 。 

咨询 师 们 开始 分 析 企 业 的 客户 数据 并 产生 了 困惑 ， 因 为 东 坚 客户 的 
行为 非常 极端 。 当 咨询 师 看 到 无 法 解释 的 奇怪 模式 时 ， 咨 询 师 会 告诉 企 
业 发 现 了 一 些 不 寻常 的 事情 。 企 业 立 即 回应 , “这 是 我 们 的 企业 级 客 
户 ， 即 B2B 业 务 。” 该 企业 认为 本 次 分 析 只 需 才 盖 个 人 客户 ， 但 它们 提 
供 的 客户 数据 则 包含 了 全 部 企业 客户 与 个 人 客户 。 


分 析 框 架 非 常 重要 

建立 问题 分 析 框 架 和 设计 分 析 方 法 比 后 续 进 行 的 一 切 工作 都 更 加 重要 。 如 果 没 有 很 好 地 分 析 
问题 ， 设 计 了 一 个 糟 料 的 分 析 框 架 ， 那 么 这 项 分 析 工 作 将 是 不 精确 的 且 没 有 任何 价值 。 我 们 需 
要 适当 地 强调 分 析 框 架 的 建立 和 设计 的 过 程 ， 以 确保 分 析 框 架 是 正确 的 ， 否 则 将 不 可 能 得 到 一 
个 优质 分 析 。 














































































































这 件 事情 说 明了 ， 在 分 析 流 程 中 引入 对 业务 的 理解 是 非常 重要 的 。 





最 初 咨询 师 没 有 建立 针对 企业 客户 的 适当 分 析 框 淋 ， 而 这 些 客户 会 干扰 
分 析 模 型 。 最 后 ， 咨 询 师 决 定 构建 两 个 客户 模型 : 一 个 用 于 企业 客户 ， 
一 个 用 于 个 人 客户 。 把 两 类 客户 分 隔 开 是 有 必要 的 ， 因 为 他 们 有 完全 不 
同 的 行为 模式 。 为 了 正确 地 分 析 这 个 问题 ， 有 必要 每 次 只 专注 于 一 类 客 
户 ， 或 者 为 每 类 客户 建立 不 同 的 分 析 模 型 。 

优质 分 析 来 自 于 正确 的 问题 分 析 框 架 ， 这 包括 正确 地 评估 数据 ， 制 
订 详 细 的 分 析 计 划 ， 并 考虑 各 种 技术 和 可 能 出 现 的 各 种 问题 。 可 以 说 ， 
构建 问题 分 析 框 架 是 做 出 优质 分 析 的 关键 步 又， 如 果 这 一 步 没 有 做 好 ， 
随后 的 工作 也 将 很 难 做 好 。 


7.6 统计 显著 性 与 业务 重要 程度 


分 析 专 家 通常 很 关注 统计 显著 性 ， 这 并 不 是 坏事 。 关 键 是 ， 统 计 显 
著 性 只 是 优质 分 析 的 一 部 分 。 统 计 显 著 性 的 测试 需要 一 组 假设 ， 并 评估 
在 假设 正确 的 前 提 下 产生 茶 种 结果 的 可 能 性 有 多 大 。 

例如 ， 如 果 人 们 假设 一 枚 人 硬币 是 均匀 的 ， 那 么 它 正面 着 地 或 反面 着 
地 的 可 能 性 各 是 50%， 而 一 枚 硬币 连续 10 次 反面 朝 上 的 几率 非常 小。 如 
果 看 到 10 次 人 硬币 反面 朝 上 ， 这 只 有 两 种 可 能 :第 一 种 可 能 是 撞 大 运 了 ， 
这 种 情况 在 1024 次 尝试 中 只 会 及 生 一 次 ;， 第 二 种 可 能 是 硬币 可 能 不 均 
们 。 通 过 10 次 反面 朝 上 的 统计 显著 性 计算 ,你 可 以 有 99.9% 的 自信 认为 
该 硬币 是 不 均匀 的 。 这 是 因为 一 枚 均匀 硬币 产生 这 一 现象 的 可 能 性 只 有 
0.1%。 这 种 计算 就 是 统计 显著 性 所 关注 的 。 

有 必要 区 分 统计 显著 性 和 业务 重要 程度 ， 这 两 者 是 不 同 的 ， 让 我 们 
来 看 看 为 什么 。 


7.6.1 ”统计 显 昔 性 




















统计 显著 性 经 常 被 用 于 求 平均 值 和 百分比 ， 它 常用 来 对 统计 模型 的 
参数 进行 估计 。 统 计 显 著 性 测试 是 非常 有 价值 的 ， 它 会 确保 数据 没有 欺 
骗 你 。 你 可 以 从 数学 角度 来 伍 看 区 别 是 否 足够 大 ， 以 及 区 别 是 否 有 价 
值 ， 有 时 候 看 起 来 是 重要 的 兰 民 其 实 并 不 重要 ， 而 看 起 来 不 重要 的 差异 
却 会 有 重大 的 意义 。 一 个 统计 测试 将 确保 结论 的 正确 性 。 

关于 测试 有 一 整套 的 方法 论 。 商 业 世 界 中 常见 的 术语 是 测试 和 研 
守 。 测 试 和 研究 只 是 大 学 统计 课程 中 的 基本 实验 设计 概念 。 在 测试 和 研 
完 环 境 中 设计 实验 的 目的 是 评估 一 个 或 多 个 选项 的 效果 ， 并 确定 哪 一 种 
选项 的 可 能 性 最 大 。 

业务 人 员 需 要 确保 遵循 正确 的 方法 进行 决策 ， 而 不 是 简单 地 使 用 那 
些 “ 明 显 的 ”答案 。 有 一 个 完全 违反 直觉 的 例子 ， 也 是 我 最 喜欢 的 例子 ， 
是 关 于 茶 大 学 的 球员 评 佑 问题。 请 看 一 下 表 7-2， 有 两 个 一 起 玩 了 5 个 赛 
邓 的 棒球 球员 ， 从 表 7-2 中 可 以 看 到 ， 在 5 个 赛季 的 每 次 比赛 中 ， 天 的 平 
均 击 球 率 者 高 于 汤姆 。 假 如 我 们 有 一 个 非常 简单 的 问题 : “在 这 五 个 赛 
季 中 ， 谁 的 平均 击 球 率 更 高 ? ”请 读者 伦 一 点 时 间 思 考 ， 并 确定 你 的 答 


案 。 








表 7-2 赛季 中 棒球 的 平均 击 球 率 








+4 0.253 0.255 
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答案 是 .……: 这 也 许 会 让 你 感到 恢 讶 : 我 们 不 知道 谁 拥有 最 好 的 总 体 
平均 击 球 率 ! 因为 在 表 7.2 中 没有 足够 的 信息 推测 出 所 有 5 个 赛季 中 谁 的 
平均 击 球 率 更 高 。 

这 怎么 可 能 ? 如 果 我 们 知道 在 每 个 赛季 中 ， 乔 和 汤姆 有 相同 数量 的 
击 球 数 ， 那 么 答案 就 像 看 起 来 的 那样 简单 ， 和 弄 将 是 局 家 。 但 是 假如 他 们 














的 击 球 数 不 同 呢 ? 在 乔 和 汤姆 都 有 各 目 最 好 的 平均 击 球 率 的 赛季 ， 假 如 
弄 受 伤 了 几 个 月 ， 只 有 很 少 的 击 球 数 ， 结 果 又 如 何 呢 ? 类 似 地 ， 如 宁 汤 
姆 受伤 ， 在 本 赛季 中 有 最 低 的 击 球 率 ， 因 此 乔 有 更 多 的 击 球 数 ， 结 果 又 
如 何 呢 ? 即使 汤姆 每 个 赛季 的 击 球 率 都 较 低 ， 整 体 上 他 也 可 以 有 比 乔 更 
高 的 击 球 率 ! 这 可 能 不 第 见 ， 但 这 完全 有 可 能 出 现 。 


水 远 不 要 走 捷径 

当 你 只 知道 故事 的 一 部 分 ， 你 得 到 的 结论 可 能 是 完全 错误 的 。 所 以 永远 不 要 采取 简单 的 分 析 
就 认定 结果 是 确实 可 信 的 ， 还 坚持 没 必 要 进行 任何 形式 的 统计 显著 性 测试 。 因 此 ， 要 始终 确保 
你 拥有 所 需 的 全 部 数据 ， 在 得 出 结论 之 前 ， 还 要 对 这 些 数据 做 各 种 测试 。 







































































不 知道 击 球 数 ， 就 不 可 能 确定 总 体 上 谁 做 得 更 好 。 看 一 下 表 7-3 的 示 
例 ， 疡 姆 是 如 何在 5 年 的 整体 评估 中 成 为 顾家 的 。 在 这 项 总 体 评 估 中 ， 
基于 t 检 验 ， 汤 姆 和 乔 在 击 球 平均 数 方面 的 区 别 没有 足够 的 统计 显著 
性 。 所以， 我 们 发 现实 际 上 证 汤姆 艺 了 乔 ， 而 表面 上 看 起 来 是 乔 击 败 了 
汤姆 。 请 注意 ， 这 个 结论 并 不 是 那么 简单 的 ， 虽 然 汤姆 启 了 ， 但 是 他 的 
领先 优势 并 不 显著 。 这 些 分 析 都 与 统计 学 相关 ， 因 此 分 析 所 得 结论 的 关 
别 也 更 加 细微 。 

















表 7-3 平均 击 球 率 的 总 体 比较 


汤姆 汤姆 : ”汤姆 : 乔 : 乔 : 乔 : 
平均 击 球 率 ” 击 球 数 ”得 分 平均 击 球 率 击 球 数 ”得 分 
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* 汤 姆 获胜 ， 但 领先 的 幅度 并 不 显著 。 从 统计 学 的 角度 看 ， 汤 姆 和 乔 的 成 绩 是 相关 联 的 。 
大 多 数 人 会 看 表格 7-2 的 数据 ， 却 不 愿 费心 去 深入 思考 这 个 问题 ， 他 








们 只 能 得 到 表面 上 显而易见 的 答案 : 乔 有 一 个 更 好 的 整体 平均 击 球 率 。 
请 不 要 这 么 做 ， 一 定 要 确保 你 做 了 测试 和 验证 。 

最 后 一 点 和 统计 显著 性 相关 的 是 ， 当 人 们 通过 统计 试验 ， 确 定 自 己 
的 结论 有 95%% 或 99% 的 准确 性 时 ， 大 多 数 人 会 感到 非 钊 居 意 ， 时 刻 谨 记 
的 是 ， 你 是 正确 的 概率 是 95% ， 但 仍然 有 5%% 的 概率 你 会 出 错 。 这 意味 
着 ， 你 每 重复 执行 20 次 ， 都 会 出 现 1 次 错误 。 

要 确保 结论 的 准确 性 水 平 与 相应 决策 的 风险 程度 挂钩 。 例 如 ， 假 设 
企业 会 因为 这 个 错误 的 决定 而 彻底 破产 ， 那 么 95% 的 准确 性 水 平 可 能 是 
不 够 的 ， 也 许 99.9% 或 更 高 的 准确 性 才 是 你 的 目标 。 

假如 大 量 重复 ， 至 少 出 现 1 次 错误 的 概率 就 会 变 大 。 你 必须 准备 好 分 
析 这 些 错误 并 从 中 进行 学 习 。 或 者 ， 你 需要 把 统计 显著 性 设置 的 非常 非 
常 高 来 保持 非常 非常 低 的 风险 。 对 新 药 的 临床 试验 来 说 ， 人 准确 性 门槛 就 
非常 高 ， 因 为 一 个 糟糕 药品 的 影响 非常 巨大 ， 甚 至 包括 死亡 。 而 一 个 公 
司 决定 在 剩 下 时 间 里 应 该 把 图 像 A 还 是 图 像 B 放 在 某 个 网 页 的 顶部 ， 这 
个 统计 显著 性 的 门槛 就 非常 低 了 。 


7.6.2 ”业务 重要 程度 


我 们 讲 过 了 统计 显著 性 的 含义 ， 以 及 获取 完整 数据 并 进行 正确 测试 
的 必要 性 ， 因 为 没有 人 可 以 100% 地 肯定 决定 古 正确 的 。 这 不 是 分 析 工 
作 的 结束 ， 最 后 一 步 是 评估 统计 显著 性 发 现 的 业务 重要 程度 。 

让 我 们 假设 统计 建立 在 分 析 的 基础 上 。 这 里 还 有 一 项 同等 重要 甚至 
更 加 重要 的 工作 ， 即 提出 正确 的 问题 。 这 项 统计 分 析 的 结果 很 好 ， 但 是 
这 对 于 业务 来 说 重要 吗 ? 业务 人 员 是 如 何 利用 对 统计 分 析 结 果 并 采取 相 
应 措施 的 呢 ? 我 们 发 现 了 一 个 影响 因素 ， 但 是 它 造成 了 足够 大 的 、 有 意 
义 的 影响 吗 ? 

请 务必 将 分 析 结 末 放 到 业务 环境 下 进行 最 终 的 验证 分 析 。 可 能 你 有 
































99 站 的 信心 ， 将 茶 次 促销 方案 的 客户 啊 应 率 至 少 提升 10% ， 这 很 棒 ! 但 
古 如 宁 这 个 促销 方案 的 成 本 是 原来 方案 的 2 倍 怎么 办 ? 在 这 种 情况 下 ， 
取得 额外 10% 的 啊 应 率 不 能 够 弥补 额外 的 成 本 支出 。 在 这 个 场景 下 ， 回 
报 率 的 融 低 并 不 重要 ， 人 至 少 从 业务 的 角度 来 说 是 如 此 。 

从 一 个 更 宏观 的 角度 来 看 待 统计 显著 性 。 哪 些 成 本 与 前 面 提 到 的 业 
务 建议 相关 ? 在 一 段 时 间 内 这 个 建议 可 以 融 来 多 少 收 入 ? 这 个 方案 是 否 
与 公司 的 长 远 战 略 保持 一 致 ? 是 否 有 足够 的 人 员 和 时 间 来 实施 这 项 方 
案 ? 统计 显著 性 是 非常 重要 的 ， 但 只 有 与 业务 关注 点 结合 起 来 ， 它 才 会 
变 得 有 价值 。 


一 个 出 色 的 分 析 能 带 来 价值 ， 而 不 古 干扰 

理解 统计 显著 性 和 业务 重要 程度 的 差异 与 关联 是 非常 重要 的 ， 尤 其 是 在 这 个 数据 泛滥 的 时 
代 。 分 析 专 家 们 会 从 海量 数据 中 发 现 有 趣 信息 。 当 数字 反常 时 ， 他 们 会 说 :“ 哇 ， 真 奇妙 ! "但 
不 要 忘记 去 确定 它 的 业务 重要 程度 。 分 析 工作 的 一 个 组 成 部 分 就 是 确认 分 析 的 发 现 是 否 成 立 ， 
以 及 是 否 具有 业务 相关 性 与 可 行 性 。 否 则 ， 这 项 分 析 没有 任何 价值 。 





















































































































































7.7 样本 VS 全 体 


通常 来 说 ， 抽 取样 本 进行 分 析 古 惯例 ， 关 键 在 于 能 否 获 得 足够 多 的 
样本 数据 来 分 析 手 头 这 个 问题 。 当 有 大 量 数据 时 ， 获 取 足 够 的 样本 并 不 
难 。 今 天 的 系统 都 具有 足够 的 可 扩展 性 ， 直 接 针 对 全 体 数据 进行 分 析 也 
古 可 行 的 ， 抽 取 10% 的 样本 顾客 进行 分 析 便 不 再 是 必需 的 ， 因 为 我 们 可 
以 直接 分 析 全 体 客 户 。 在 某 些 领 域 ， 比 如 临床 试验 ， 目 前 大 多 还 是 小 样 
本 数据 ， 这 一 直 是 个 问题 ， 而 这 些 领 域 是 一 些 特例 。 然 而 ， 大 多 数 情 况 
下 ， 抽 样 仍然 是 分 析 计 划 的 重要 组 成 部 分 ， 因 此 必须 确保 抽样 的 正确 
性 5 

下 次 在 读 报 的 时 候 ， 留 意 一 下 报纸 里 那些 不 变 的 调查 ， 你 会 发 现 所 








有 调查 结果 的 底部 都 会 声明 一 定 的 误差 幅度 ， 通 常情 况 下 是 加 减 百 分 之 
三 到 五 的 范围 。 你 也 会 看 到 调查 所 用 随机 样本 的 规模 ， 通 常情 况 下 是 

800 人 一 1200 人 。 无 论 是 什么 问题 和 主题 ， 这 些 误差 幅度 和 样本 规模 通 
常 都 保持 不 变 。 要 确保 一 定 的 误差 幅度 只 需要 大 约 1000 个 样本 。 

样本 规模 越 大 ， 误 差 幅 度 越 小 ， 越 能 肯定 样本 的 观察 结果 接近 于 真 
实 答案 。 大 数据 会 带 来 大 的 样本 规模 ， 以 至 于 简单 的 数据 汇总 就 能 够 达 
到 很 高 的 统计 显著 性 ， 剩 下 的 一 些 误差 幅度 ， 已 经 不 会 对 业务 造成 什么 
影响 。 

可 能 成 百 上 于 的 网 站 都 在 探索 研究 多 少 人 点 击 了 A 或 B 链 接 。 也 许 ， 
某 网 站 发 现 点 击 A 的 人 占 2.5235%， 点 击 B 的 人 占 2.5237% 。 初 看 起 来 好 
像 差 异 很 小 ， 但 是 如 果 样 本 足够 大 ， 这 0.0002% 的 区 别 也 具有 统计 显 渚 
性 。 然 而 ， 这 个 差异 还 是 太 小 了 ， 虽 然 具 有 统计 显著 性 ， 也 没有 太 多 价 
值 。 这 不 符合 我 们 之 前 讨论 过 的 业务 重要 程度 与 相关 性 准则 。 就 像 统计 
学 里 的 这 名 谚语 , “只 有 能 带 来 差异 的 差异 ， 才 是 真正 的 差异 。” 

在 过 去 ， 分 析 人 员 一 直 强 调 要 获取 足够 的 样本 ， 过 小 的 样本 会 引起 
分 析 师 对 误差 幅度 的 担忧 。 当 一 个 样本 很 小 时 ， 误 差 会 变 得 很 大 。 在 这 
种 情况 下 ， 很 多 分 析 都 将 没有 意义 。 到 了 今天 ， 人 们 有 必要 确定 没有 使 
用 过 大 的 样本 。 虽 然 样 本 过 大 看 起 来 是 一 个 奇怪 的 概念 ， 但 这 已 经 成 为 
一 种 需要 考虑 的 可 能 性 了 。 

如 果 某 个 业务 问题 只 要 求 分 析 20 万 名 随机 客户 的 样本 以 获得 精确 的 
市 场 需 求 预测 ， 在 这 种 情况 下 ， 只 是 因为 可 以 做 到 就 对 全 部 2000 万 名 客 
户 进行 分 析 ， 无 疑 是 对 时 间 和 资源 的 浪费 。 在 这 种 情况 下 使 用 抽样 数据 
进行 分 析 ， 完 全 可 以 发 现 具有 统计 显著 性 、 业 务 重 要 程度 较 高 且 相 关 的 
分 析 结论 。 在 某 些 情况 下 ， 如 果 必 须 是 1% 的 差异 ， 业 务 人 员 才 会 采取 
行动 ， 那 么 就 要 确保 样本 数据 足够 大 ， 大 到 1% 的 差异 也 具有 统计 显著 
性 。 使 用 大 样本 就 能 保证 1% 的 差异 也 具有 统计 显著 性 ， 但 同时 也 会 带 
来 大 量 额外 的 、 无 意义 的 数据 处 理工 作 。 因 此 ， 要 确保 样本 足够 大 又 不 









































要 过 大 。 驾 驭 大 数据 将 需要 从 大 量 数 据 中 提取 精华 部 分 进行 分 析 。 

有 时 候 需 要 分 析 全 部 的 数据 。 依 据 一 些 标准 找到 所 有 数据 中 的 前 N 
个 ， 就 是 一 个 这 样 的 常见 例子 。 例 如 ， 某 项 分 析 需 要 找到 前 100 个 消费 
最 多 的 顾客 。 随 机 取样 无 法 得 到 想 要 的 数据 ， 它 只 能 随机 得 到 一 部 分 顾 
客 的 信息 。 在 这 种 情况 下 ， 拿 到 全 部 顾客 的 数据 是 必要 的 。 在 进行 分 析 
之 前 ， 束 要 决定 是 人 否 需要 抽样 ， 样 本 应 该 有 多 大 的 规模 。 只 要 有 可 能 ， 
就 应 该 尽量 使 用 抽样 数据。 

另 一 个 毅 见 的 误解 是 ， 一 个 单一 样本 可 以 用 来 分 析 不 同 的 问题 。 市 
场 部 门 可 能 只 需要 10% 的 顾客 来 进行 分 析 ， 因 此 市 场 部 门 只 需要 从 客户 
群 中 抽取 10% 的 样本 ， 这 个 样本 数据 对 于 其 他 部 门 则 未 必 有 效 。 下 面 我 
们 来 分 析 原 因 。 


你 需要 全 部 的 数据 ! 
如 果 为 了 不 同 的 问题 抽取 了 不 同 的 样本 数据 ， 最 终 ， 你 会 需要 100%% 的 数据 。 不 要 因为 目光 
短 浅 而 把 某 个 分 析 主 题 暂时 不 需要 的 数据 丢弃 。 抽 样 并 不 是 反对 收集 并 存储 所 有 你 能 获得 的 数 
据 。 企 业 数 据 环境 不 是 为 了 样本 数据 存在 的 ， 相 反 ， 样 本 数据 来 自 于 企业 数据 环境 。 



























































对 于 一 家 通信 公司 ，10% 的 客户 数据 就 可 以 满足 客户 关系 处 理 
(CRM) 团队 的 分 析 需 求 ， 然 而 ， 销 售 部 门 需要 分 析 不 同 区 域 的 销售 
情况 ， 他 们 需要 抽取 10% 的 区 域 ， 并 获得 这 些 区 域 100% 的 交易 数据 。 
因此 ， 销 售 部 门 和 客户 关系 处 理 团队 的 抽样 群体 是 完全 不 同 的 。 他 们 可 
能 不 会 得 到 全 部 的 客户 信息 ， 但 是 他 们 能 够 得 到 指定 店铺 的 全 部 信息 。 
同样 的 ， 一 个 产品 经 理 可 能 需要 10% 有 关 商 品 交 易 的 样本 ， 这 个 样本 可 
能 不 会 包含 全 部 的 关于 客户 和 商铺 的 交易 信息 。 因 此 ， 这 3 个 部 门 需要 
不 同 的 样本 。 

重点 是 ， 每 个 问题 都 至 少 需 要 10% 的 样本 数据 ， 但 不 同 问题 的 10% 
的 样本 数据 各 不 相同 。 如 图 7-1 所 示 ， 不 同 的 样本 被 用 来 文 持 不 同 的 问 























题 ， 在 某 些 情况 下 ， 可 能 需要 100% 的 数据 。 因 此 所 有 数据 都 应 该 是 可 
用 的 ， 即 使 茶 些 数据 从 来 都 没有 被 使 用 过 。 
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任意 给 定 问 题 可 能 都 只 需要 一 小 部 分 样本 数据 。 但 时 ， 使 用 样本 数据 


获得 解决 问题 的 分 析 方法 后 ， 就 需要 使 用 全 部 数据 进行 分 析 了 。 
图 7-1 不 同 的 样本 需要 不 同 的 数据 


7.8 ”业务 推断 与 统计 计算 


本 市 主要 讨论 分 析 和 报表 差异 、 好 分 析 和 坏 分 析 差 寞 的 核心 。 假 设 
菏 一 分 析 显 示 统 计 结果 具有 统计 显著 性 ， 执 行 分 析 的 分 析 专 家 也 确认 该 
发 现 很 重要 ， 且 与 业务 具有 相关 性 ， 那 么 分 析 专 家 就 要 进一步 推断 出 基 
于 分 析 结 果 能 采取 什么 措施 。 对 一 个 好 的 分 析 来 说 ， 必 须 能 够 基于 分 析 
结果 推断 出 未 来 的 行动 方案 ， 或 提供 指导 建议 。 男 外 ， 假 如 茶 些 分 析 结 
打 不 文 持 行动 方案 ， 这 些 分 析 结 论 也 应 该 被 记录 下 来 。 

一 个 出 色 的 分 析 会 尽 可 能 地 简化 决策 者 的 决策 难度 。 当 然 ， 决 和 俩 者 
需要 做 出 最 后 的 决定 ， 但 重要 的 是 ， 分 析 的 汇总 结果 能 够 提供 科学 决策 
的 基础 。 一 个 出 色 的 分 析 需 要 初步 推断 所 应 该 采取 的 行动 ， 而 不 是 简单 




















的 数据 估计 。 仪 仅 生成 一 个 报表 并 不 是 分 析 ， 简 单 地 提供 数据 或 者 专业 
信息 也 不 是 分 析 。 


你 需要 分 析 专 家 ， 不 是 报表 制作 人 员 ! 

分 析 专 家 的 工作 是 提供 分 析 和 建议 ， 而 不 是 仅仅 提供 报表 、 数 据 以 及 其 他 统计 结果 。 与 报告 
是 有 价值 的 一 样 ， 能 够 从 数据 中 分 析 问 题 并 提供 解决 问题 的 方案 的 人 也 是 有 价值 的 。 然 而 ， 更 
大 的 价值 是 解读 分 析 的 结论 ， 以 及 建立 行动 计划 。 只 有 这 样 ， 报 表 才能 成 为 分 析 ， 报 表 制作 人 
员 才能 成 为 分 析 专 家 。 





















































仅仅 指出 方案 一 比方 案 二 效果 好 10% 是 不 够 的 ， 关 键 是 如 果 有 了 这 
些 数据 ， 应 该 得 出 什么 结论 。 一 个 出 色 的 分 析 应 该 包含 应 该 采取 措施 的 
步 又。 如 果 是 方案 二 超出 方案 一 10% ， 那 么 就 应 该 补充 基于 方案 二 的 建 
议 措 施 。 在 这 个 简单 的 例子 中 ， 这 是 非常 明显 的 。 然 而 ， 很 多 分 析 要 复 
杂 得 多 ， 在 这 些 复杂 的 分 析 里 ， 提 供 对 行动 方案 的 建议 将 非常 有 玫 助 。 
决策 者 不 应 该 目 己 寻找 可 选 方案 ， 而 应 该 获得 这 些 选 项 并 进行 判断 和 取 
会 。 


7.9 本章 小 结 


以 下 是 本 章 的 重点 内 容 。 

四 ”报表 不 是 分 析 。 生 成 报表 通常 是 分 析 的 开始 ， 如 果 被 恰当 地 使 
用 ,分析 和 报表 能 够 互相 促进 、 相 得 益 彰 。 

四 ”分 析 是 依据 事实 进行 决策 的 ， 以 解决 实际 的 业务 问题 ， 并 推断 出 
应 该 采取 的 措施 。 分 析 流 程 中 可 能 会 用 到 从 报表 到 预测 模型 等 的 各 种 方 
法 与 工具 5 

四 ”一 个 出 色 的 分 析 必 须 满足 G.R.E.A.I 原 则 ， 即 导向 性 、 相 关 性 、 
可 解释 性 、 可 行 性 、 及 时 性 。 

















四 ”和 局 级 分 析 的 范畴 不 仅仅 是 回答 “发 生 了 什么 ">、“ 会 有 什么 影响 ”这 
些 简单 的 问题 。 它 要 进一步 深入 地 研究 ，“ 为 什么 会 发 生 ， 以 及 “我 们 
能 做 什么 ”。 

四 ”企业 进行 分 析 时 最 粮 料 的 一 种 方式 是 ， 只 选取 有 荔 的 结论 而 忽视 
不 利 的 结论 。 这 样 的 行为 完全 违背 了 分 析 的 目的 ， 也 不 会 带 来 任何 价 
值 。 

四 ”分析 最 重要 的 部 分 是 ， 在 事情 发 生 之 前 做 出 判断 。 能 否 建立 对 正 
人 确 问 题 的 分 析 框 染 会 直接 影响 到 分 析 工 作 的 成 败 。 

四 ”统计 显著 性 不 同 于 业务 重要 程度 ， 不 要 通过 统计 测量 方法 来 判断 
分 析 结 果 的 业务 重要 程度 。 

四 统计 显著 性 测试 只 是 提供 了 结论 正确 的 概率 。 把 显著 性 水 平 测试 
结 末 中 较 小 的 那 部 分 概率 与 实际 的 错误 联系 起 来 。 

四 有 昌 然 对 全 体 进行 分 析 是 可 行 的 ， 但 是 它 可 能 会 带 来 额外 的 成 本 与 
工作 ， 还 没有 太 多 实际 的 收益 。 因 此 ， 在 很 多 情况 下 ， 包 括 分 析 大 数 
据 ， 抽 样 部 是 一 种 好 的 策略 。 

四 ”一 个 出 色 的 分 析 要 提供 对 业务 的 推 朵 和 应 采取 的 行动 方案 ， 并 不 
古人 简单 地 汇报 统计 数据 和 事实 。 

















第 8 音 
如 何 成 为 优秀 的 分 析 专 家 


本 章 开 始 之 前 ， 我 们 先 来 做 个 小 测验 。 测 验 非常 简单 ， 不 用 紧张 。 
现在 坐 好 了 ， 花 几 分 钟 时 间 想 一 想 顶 级 分 析 专 家 的 号 上 有 哪些 最 重要 的 
特质 。 被 我 们 称 为 分 析 专 家 的 这 种 人 ， 能 够 成 功 地 轨 驭 大 数据 ， 有 能 
完成 第 7 章 里 描述 的 那些 复杂 的 分 析 工 作 。 他 们 是 掌握 了 高 超 技巧 且 受 
过 专业 训练 的 分 析 专 家 ， 他 们 能 够 建立 预测 模型 ， 完 成 预测 或 者 类 似 的 
工作 ， 他 们 并 不 是 只 会 做 复杂 电子 表格 或 报表 的 那 类 人 。 列 出 你 认为 最 
重要 的 3 一 5 项 特质 。 好 了 吗 ? 你 的 清单 应 当 包含 你 认为 最 重要 的 那些 特 
质 ， 完 成 后 请 继续 往 下 阅读 。 

大 部 分 读者 的 答案 都 不 会 完全 正确 ， 都 会 有 这 样 那 样 的 错误 。 原 因 
古 当 我 们 谈 到 什么 是 优秀 的 分 析 专 家 最 重要 的 特质 时 ， 会 根据 一 些 和 常识 
来 判断 ， 而 这 些 第 识 即 便 说 不 是 完全 错误 的 ， 也 是 不 完整 的 。 本 章 将 对 
此 进行 探讨 ， 讨 论 完 竟 是 哪些 特质 让 优秀 的 分 析 专 家 脱颖而出 。 首 移 ， 
我 们 要 清晰 地 界定 分 析 专 家 的 含义 。 


8.1 哪些 人 是 分 析 专 家 


被 冠 以 分 析 专 家 头衔 的 人 会 有 很 多 不 同 的 称呼 。 以 往 最 常见 的 称呼 
是 分 析 专 家 、 数 据 挖 据 工 程 师 、 预 测 建 模 工程 师 以 及 统计 人 员 。 最 近 ， 
数据 科学 家 这 个 称呼 比较 流行 ， 尤 其 是 指 那 些 使 用 MapReduce 工 具 并 分 
析 大 数据 的 人 。 本 书 将 上 述 所 有 人 全 都 认为 是 分 析 专 家 。 

事实 上 ， 上 述 分 析 专 家 虽然 头衔 多 种 多 样 ， 但 是 他 们 技能 的 相似 程 
度 会 大 于 差异 程度 。 这 些 分 析 人 员 的 日 常 工作 都 是 利用 数据 解决 业务 问 
题 。 不 同类 型 的 分 析 专 家 所 使 用 的 工具 或 算法 可 能 会 有 所 不 同 ， 但 优秀 














的 分 析 专 家 会 根据 需求 在 不 同 领域 之 间 目 由 币 人 律 。 如 本 章 所 述 ， 优 秀 的 
分 析 专 家 之 所 以 与 众 不 同 ， 绝 不 是 因为 他 们 使 用 了 不 同 的 工具 、 算 法 或 
数据 。 

需要 特别 指出 的 是 ， 与 传统 意义 的 分 析 专 家 相 比 ， 数 据 科 学 家 这 个 
新 的 群体 并 没有 什么 特殊 之 处 。 束 像 以 往 分 析 专 家 关心 的 是 找到 新 头 有 
效 的 方法 利用 数据 解决 业务 问题 一 样 ， 数 据 科 学 家 也 是 如 此 。 事 实 上 ， 
数据 科学 家 喜欢 使 用 不 同 的 工具 、 编 程 语言 和 数据 集 ， 这 种 做 法 并 没有 
让 他 们 的 目标 和 意图 有 所 不 同 。 他 们 使 用 的 都 是 相同 的 技能 ， 具 备 相 同 
的 苋 争 力 。 

唯一 阻碍 传统 意义 上 的 分 析 专 家 成 为 优秀 数据 科学 家 的 是 培训 和 学 
习 ， 反 之 亦 如 此 。 有 了 一 定 的 基础 ， 任 何 优秀 的 分 析 专 家 学 习 一 门 新 的 
语言 、 一 种 新 的 工具 ， 都 不 会 有 什么 问题 。 任 何 优秀 的 分 析 专 家 都 会 迫 
不 及 竺 地 抓 住 机 会 ， 去 了 解 新 的 数据 源 以 及 它们 的 使 用 方法 。 

凡是 认为 目 己 是 分 析 专 家 的 人 ， 无 论 他 们 被 称 为 数据 科学 家 还 是 分 
析 专 家 ， 都 会 认同 本 章 的 观点 。 跟 这 些 分 析 专 家 进行 交流 的 那些 人 肯定 
也 会 认同 这 些 观点 。 分 析 专 家 能 够 理解 他 们 彼此 之 间 有 很 多 共同 之 处 ， 
这 一 点 对 他 们 来 说 非常 重要 。 这 些 特质 和 行为 正 是 所 有 优秀 分 析 专 家 的 
特征 。 


8.2 ”对 分 析 专 家 第 见 的 误解 


列 出 分 析 专 家 最 重要 的 特征 时 ， 大 多 数 人 都 会 加 上 学 历 这 一 点 。 通 
常 ， 我 们 会 认为 优秀 的 分 析 专 家 应 该 是 学 统计 学 、 数 学 、 计 算 机 科学 、 
运 竹 学 或 者 其 他 类 似 的 专业 。 而 且 ， 我 们 经 常 还 会 认为 他 们 得 有 个 硕士 
学 位 或 者 博士 学 位 什么 的 。 我 们 经 第 关心 的 男 一 点 是 编程 经 验 。 我 们 认 
为 优秀 的 分 析 专 家 应 该 可 以 使 用 多 种 语言 编程 进行 分 析 。 这 种 认识 背后 
的 逻辑 是 ， 普 通 分 析 人 员 所 使 用 的 工具 ， 分 析 专 家 肯定 用 得 更 好 。 























人 们 普 允 都 会 选择 列 出 上 述 这 两 点 ， 但 这 是 不 正确 的 。 优 秀 的 分 析 
专家 需要 很 强 的 数学 和 统计 学 背景 知识 。 正 经 八 百 的 学 位 ， 其 实 并 非 必 
需 。 在 工作 中 边 干 边 学 ， 或 者 通过 其 他 方式 学 习 也 是 可 以 的 。 优 秀 的 分 
析 专 家 需要 一 定 的 编程 能 力 ， 这 是 因为 所 有 主流 的 分 析 工 具 都 要 有 一 定 
的 编程 知识 才能 用 好 。 但 是 ， 具 备 这 些 编程 能 力也 不 能 保证 百分之百 成 
功 。 

这 就 应 了 数学 上 的 一 句 话 : 必要 但 非 充分 。 要 想 成 为 优秀 的 分 析 专 
家 ， 统 计 、 数 学 、 编 程 这 些 技能 是 绝对 必要 的 ， 但 并 不 充分 。 除 了 这 些 
基础 知识 以 外 ， 分 析 专 家 还 需要 掌握 更 多 的 技能 。 有 具备 数学 方面 的 基础 
知识 和 编程 能 力 是 一 个 前 提 条 件 。 虽 然 这 些 能 力 很 重要 ， 但 它们 并 不 是 
区 分 优秀 分 析 专 家 和 普通 分 析 人 员 的 分 水 岭 ， 它 们 仅仅 是 起 点 而 已 。 

如 果 招 聘 经 理 把 注意 力 过 多 地 放 在 技能 知识 以 及 学 术 背 景 上 ， 结 
是 他 们 招 到 的 员工 也 会 把 精力 放 到 这 些 文 离 破碎 的 事情 上 面 ， 而 非 关 注 
全 局 。 公 司 在 招聘 分 析 专 家 的 时 候 还 要 在 其 他 层面 上 设 定 一 些 评 价 标 
准 。 毕 竟 ， 我 们 需要 的 并 不 是 那 种 “统计 极 客 ”， 坐 在 角落 里 没 日 没 夜 地 
摆弄 奇妙 算法 的 人 。 招 聘 那 些 人 并 不 会 保证 我 们 获得 成 功 。 

我 们 需要 的 是 能 够 融入 团队 的 分 析 专 家 。 他 们 能 够 理解 叹 竺 解决 的 
业务 问题 ， 理 解 如 何 才 能 有 效 地 帮助 业务 部 门 解决 他 们 的 问题 。 如 果 没 
有 这 些 顶 级 人 才 ， 我 们 就 无 法 驾驭 大 数据 浪 渭 。 下 面 ， 我 们 将 讨论 怎样 
才能 找到 这 些 顶 级 人 才 。 


8.3 每 一 位 优秀 的 分 析 专 家 者 是 独特 的 


这 些 年 最 让 我 吃 恢 的 是 ， 我 认识 的 每 一 位 优秀 的 分 析 专 家 都 是 独特 
的 ， 或 多 或 少 都 会 打破 一 些 常规 。 我 圈子 里 的 一 些 人 也 有 着 同样 的 感 
党 。 为 什么 优秀 的 分 析 专 家 往往 会 与 众 不 同 呢 ? 列举 我 们 认为 优秀 分 析 
专家 通 毅 应 该 具备 的 基本 特质 ， 从 清单 上 来 看 ， 会 发 现 他 们 多 少 都 会 违 



































至 这些 特质 ! 在 开始 讨论 更 重要 的 特质 之 前 ， 我 们 先 来 讨论 为 什么 有 些 
特质 并 非 像 看 上 去 的 那么 重要 。 


8.3.1 教育 


有 一 位 多 年 前 曾 与 我 共事 过 的 男士 ， 他 是 我 所 认识 的 最 优秀 的 分 析 
专家 之 一 。 他 的 名 字 叫 Bart，Bart 早 于 我 加 入 当时 我 在 的 那 家 公司 ， 开 
始 我 并 不 了 解 他 的 教育 背景 。 我 很 快 注意 到 ， 这 个 人 是 真 的 行家 。 在 我 
还 是 新 人 的 时 候 ， 我 会 癌 他 请 教 编 程 中 遇 到 的 问题 ， 他 既 能 帮助 我 处 理 
统计 方面 的 难题 ， 还 能 帮助 我 掌握 公司 的 业务 。 更 重要 的 是 ， 他 甚至 可 
以 帮助 我 了 解 客 户 的 业务 。 

过 了 一 段 时 间 ， 我 才 发 现 他 <“ 仅 有 ”一 个 商科 学 位 ， 还 是 本 科 ，Bart 根 
本 没有 什么 高 等 学 位 。 他 仅仅 是 在 商学 院 的 时 候 学 习 了 一 些 统计 知识 ， 
他 也 没有 接受 过 任何 正规 的 编程 训练 ， 编 程 完全 古 他 目 学 的 。 

Bart 在 工作 中 选修 了 一 些 课程 ， 并 回 其 他 同事 学 习 了 工作 所 需 的 统 
计 学 基础 知识 。 他 还 读 了 一 些 书 ，Bart 的 编程 经 验 完全 是 靠 实战 获得 
的 。 最 终 ， 他 变 成 了 我 所 认识 的 最 优秀 的 分 析 专 家 之 一 。 但 是 在 技术 方 
面 ， 他 并 没有 受到 过 什么 正规 的 学 院 派 训练 或 者 参加 过 什么 技术 培训 。 
他 惑 属 于 那 种 能 够 驾驶 大 数据 的 人 。 不 要 把 注意 力 过 多 地 放 在 正规 教育 
背景 上 和 面 。 我 们 真正 要 关心 的 是 分 析 专 家 是 否 拥 有 满足 工作 需要 的 实用 
分 析 技 能 。 

















8.3.2 ”行业 经 验 


公司 和 招聘 经 理 往往 会 非常 天 心 分 析 专 家 或 者 其 他 人 员 的 行业 背 
景 ， 这 很 常见 。 如 果 分 析 专 家 以 前 从 事 的 是 电信 业 ， 他 们 会 认定 这 个 人 
干 不 了 银行 业 。 如 果 分 析 专 家 以 前 从 事 的 是 银行 业 ， 他 们 会 认定 这 人 干 
不 了 制造 业 。 如 果 以 前 是 制造 业 的 ， 他 就 干 不 了 零售 业 。 





这 种 看 法 是 不 公正 的 。 假 如 说 有 两 名 合格 的 候选 人 ， 一 个 了 解 菏 行 
业 而 另 一 个 不 了 解 攻 行业 ， 我 们 当然 选择 了 解 茶 行业 的 人 了 。 但 是 ， 我 
们 面临 的 选择 往往 不 会 这 么 简单 。 艾 如 说 下 面 这 样 的 两 名 候选 人 ， 一 个 
征 普 通 的 分 析 专 家 ， 他 了 解 本 行业 的 方方面面 ， 另 一 个 是 其 他 行业 里 四 
越 的 分 析 专 家 ， 但 他 对 目标 行业 没有 任何 了 解 。 这 时 我 们 一 定 要 选择 后 
者 ， 一 名 早 越 的 分 析 专 家 不 分 行业 ， 他 能 很 快 地 在 新 的 行业 里 变 得 非常 
优秀 。 而 平庸 的 分 析 专 家 很 可 能 还 驻 留 在 原 地 踏步 。 此 外 ， 了 解 其 他 行 
业 里 的 一 些 观 点 也 是 非常 有 益 的 。 每 一 个 行业 都 有 自己 特定 的 做 事 风 
格 。 优 秀 的 团队 可 以 从 来 自 其 他 行业 的 分 析 专 家 号 上 学 到 很 多 新 的 知 


二。 

















放眼 外 部 
招聘 分 析 专 家 的 时 候 ， 我 们 要 不 停 地 留意 行业 外 部 的 情况 。 优 秀 的 分 析 专 家 业务 上 手 的 速度 
会 非常 快 。 此 外 ， 他 们 还 能 带 来 自己 行业 里 的 新 鲜 思想 和 方法 。 从 竞争 对 手 那 里 招聘 我 们 想 要 
的 人 肯定 错 不 了 ， 但 我 们 要 给 他 们 足够 多 的 时 间 让 他 们 能 够 更 好 地 融入 我 们 的 团队 。 
























































下 面 我 们 来 看 一 个 真实 的 案例 ， 主 人 公 名 叫 Mark。 在 这 个 案例 里 ， 
对 行业 的 要 求 几乎 是 不 能 受 协 的 。Mark 以 前 在 银行 业 干 了 好 多 年 。 我 们 
团队 的 人 力 资源 非常 紧张 ， 我 们 需要 新 的 人 手 来 做 一 个 零售 业 的 客户 。 
团队 里 面 每 个 人 都 认为 Mark 有 是 非常 非常 优秀 的 分 析 专 家 ， 但 以 他 的 银行 
业 背 景 ， 他 能 干 好 零售 业 的 项 目 吗 ? 

优秀 的 分 析 专 家 肯定 会 认同 这 样 的 观点 ， 他 们 是 能 跨行 业 工作 的 。 

几 是 谈 到 跨行 业 工 作 ， 肯 定 是 要 改变 目 己 以 往 的 思维 方式 ， 学 习 新 的 术 
语 ， 计 算 不 同 的 指标 ， 但 他 们 肯定 可 以 搞定 。 在 其 他 许多 行业 中 ， 这 种 
论断 也 是 正确 的 。Mark 有 机 会 在 零售 业 项 目 中 一 展 拳脚 ， 他 愿意 投入 牛 
外 的 时 间 学 习 零 售 业 的 业务 知识 ， 也 愿意 与 指定 的 零售 行业 专家 紧密 协 
作 。 第 一 个 项 目 搞定 数 月 后 ， 当 Mark 再 与 其 他 零售 业 的 客户 见面 时 ， 客 


























户 甚至 认为 Mark 已 经 在 零售 行业 干 了 很 多 年 。 这 和 古 因为 Mark“ 和 掌握 ”了 

项 目 背 后 的 业务 知识 ， 能 够 把 自己 以 往 在 银行 业 中 学 习 到 的 概念 灵活 运 
用 到 和 零售 行业 里 。Mark 非 常 主动 ， 有 创造 力 ， 也 很 聪明 ， 这 才 是 关键 所 
在 。 


8.3.3 ”当心 < 人 力 资源 清单 ” 


几 年 前 ， 公 司 HR 找 到 我 说 “我 们 制定 了 一 些 新 规矩 ， 你 得 帮忙 更 新 
空缺 职位 的 必 备 条 件 和 优选 条 件 。 从 现在 开始 ， 任 何 纸 面 上 写 下 来 的 必 
备 条 件 都 是 百 分 百 要 遵守 的 绝对 必要 条 件 。? 换 句 话 说， 如 果 职 位 描述 
说 候选 人 要 有 学 士 学 位 ， 或 者 统计 水 平 要 比较 优秀 ， 那 我 们 就 不 可 能 
试 更 不 可 能 招聘 不 具备 这 些 条 件 的 人 员 。 

考虑 再 三 ， 我 把 修改 后 的 清单 发 给 THR， 上 面 列举 了 一 长 串 的 优先 
考虑 条 件 。 而 必 备 条 件 只 有 一 项 : 学 士 学 位 ， 不 限行 业 。 要 有 学 士 学 位 
的 唯一 原因 是 要 确保 候选 人 接受 过 高 等 教育 。 坦 白地 讲 ， 虽 然 只 有 一 项 
必 备 条 件 ， 这 份 清单 还 是 太 过 苟 刻 。 

HR 打 电 话 给 我 ,“Bi 记 ， 你 是 不 是 搞 错 了 ? 必 备 条 件 咋 啥 也 疫 写 ， 你 
古 不 是 漏 挥 了 一 些 重 要 的 必 备 条 件 ? ”我 告诉 了 他 我 的 想法 ， 我 说 ,“ 坦 
日 地 讲 ， 如 果 列 出 我 通常 认为 的 必 备 条 件 ， 那 团队 现 有 的 成 员 都 多 少 不 
符合 必 备 条 件 。 如 宋 将 菏 项 列 成 必 备 条 件 ， 就 不 可 能 有 例外 ， 你 说 我 还 
敢 列 出 来 吗 ? 我 不 能 因为 工作 描述 的 限制 而 冒险 错过 优秀 的 候选 人 。 我 
宁愿 写 一 个 模糊 的 工作 描述 ， 这 样 我 才 可 以 找到 合适 的 人 选 。” 


根据 知识 和 技能 招聘 ， 而 非 勺 选 多 选 杠 

招聘 行业 分 析 专家 ， 我 们 可 以 从 列举 经 验 要 求 和 教育 背景 的 详细 清单 开始 。 第 一 轮 面试 前 先 
准备 一 些 〈 但 非 全 部 ) 多 选 框 作为 选择 是 合理 的 。 但 这 种 作法 并 不 充分 ， 考 核 一 个 优秀 的 分 析 
专家 涉及 很 多 方面 ， 并 非 只 涉及 技术 因素 这 么 简单 。 事 实 上 ， 使 优秀 的 分 析 专家 显得 与 众 不 同 
的 更 多 原因 是 ， 我 们 接 下 来 将 要 讨论 的 除了 技术 因素 外 的 其 他 因素 。 




















































































































8.4 优秀 分 析 专 家 身上 经 名 被 低估 的 特质 


下 面 我 们 讨论 优秀 分 析 专 家 号 上 了 最 关键 的 特质 。 这 些 特 质 对 其 他 业 
务 领域 也 是 有 价值 的 ， 我 们 这 么 说 并 不 是 要 否定 它们 对 于 分 析 的 重要 
性 。 下 述 的 每 种 特质 都 比 我 们 以 前 讨论 过 的 更 重要 。 维 持 既 有 的 分 析 流 
时 会 容易 一 些 ， 如 硝 要 寻求 新 的 突破 ， 建 并 新 的 分 析 流 程 ， 人 才 招 聘 和 
人 才 挽 留 就 显得 比较 重要 了 。 要 想 成 功 地 驾驭 大 数据 ， 完 成 文 撑 大 数据 
所 需要 的 具有 创新 性 的 新 业务 分 析 流 程 ， 我 们 需要 路 过 更 高 的 标杆 。 








8.4.1 承诺 





承 话 是 普 惠 每 个 行业 的 特质 。 总 会 有 人 愿意 挥洒 汗水 让 项 目 按时 交 
付 ， 使 项 目 获 得 最 终 成 功 。 当 然 也 有 人 不 愿意 这 么 卖力 地 干 活 。 在 公司 
里 ， 我 们 得 弄 清楚 哪些 人 菲 得 住 ， 哪 些 人 徘 不 住 。 任 何 优 郁 的 分 析 专 家 
都 会 言 出 必 行 。 革 和 运 的 是 ， 我 们 在 面试 过 程 中 通过 候选 人 对 上 自己 以 前 工 
作 和 成 果 的 描述 ， 就 可 以 看 出 这 种 特质 。 认 真 倾听 ， 束 能 找 出 可 以 满足 
承 话 这 项 要 求 的 候选 人 。 

关于 承诺 真 的 不 需要 讲 那 么 多 。 我 们 都 知道 承诺 对 于 各 个 领域 的 重 
要 性 ， 这 其 中 当然 也 包括 分 析 领 域 。 


8.4.2 ”创造 力 














创造 力 并 不 是 大 多 数 人 一 想到 的 分 析 专 家 就 会 想到 的 特质 。 大 多 数 
人 以 为 分 析 专 家 的 工作 就 是 处 理 那些 一 成 不 变 的 统计 公式 。 他 们 只 需要 
按 书 本 上 说 的 那样 做 就 行 了 ， 并 不 需要 创新 。 事 实 是 这 样 的 吗 ? 

肯定 不 是 。 根 本 原因 是 我 们 遇 到 的 每 个 业务 问题 都 是 不 同 的 ， 而 解 
决 各 种 问题 的 数据 往往 都 会 很 复杂 且 不 完整 。 分 析 专 家 必须 得 想 清楚 要 

















以 怎样 一 种 全 新 的 方式 ， 并 利用 手头 上 的 数据 解决 新 出 现 的 业务 问题 ， 
这 就 需要 创造 力 了 。 没 有 哪 本 书 或 哪 套 规则 能 够 说 清楚 我 们 要 怎样 做 关 
于 业务 问题 的 大 量 决策 ， 怎 样 以 正确 的 方式 把 事情 全 部 做 好 。 

另外 ， 每 次 分 析 专 家 都 会 遇 到 一 些 不 可 预见 的 问题 。 有 时 候 遇 到 的 
只 是 小 问题 ， 有 时 候 会 遇 到 大 有 麻烦。 每 次 遇 到 “@#%$&*!11”， 分 析 专 家 
就 会 意识 到 碰 到 大 麻烦 了 。 创 造 力 就 是 解决 这 类 问题 的 新 方法 。 我 们 过 
到 的 可 能 是 数据 问题 ， 也 可 能 是 实际 动手 分 析 时 才 发 现 目 己 没有 真正 理 
解 的 业务 问题 。 创 造 力 的 存在 就 是 要 解决 这 些 困 难 ， 并 得 到 最 终结 末 ， 
达成 目标 。 

不 要 低估 分 析 专 家 创造 力 的 重要 性 。 创 造 力 在 那些 自称 为 分 析 专 家 
的 人 身上 并 不 和 常见。 以 创造 力作 为 评判 标准 会 第 选 挥 很 多 人 。 如 果 给 你 
10 个 人 ， 有 两 三 个 人 能 满足 要 求 束 不 错 了 。 有 的 公司 会 使 用 性 格 测 试 ， 
有 的 会 让 候选 人 解决 随机 出 现 的 问题 来 评判 他 们 是 否 有 创造 力 。 我 评判 
一 个 人 是 否 有 创造 力 的 方法 是 ， 让 他 上 自己 讲 在 遇 到 “@#%$&*111* 这 类 分 
析 问 题 时 他 是 怎么 做 的 。 有 创造 力 的 人 讲 出 来 的 故事 往往 很 动听 ， 而 没 
有 创造 力 的 分 析 专 家 只 会 把 自己 解决 问题 的 步 又 简单 地 罗列 出 来 。 

1. 干净 的 数据 只 存在 于 教科 书 中 

干净 的 数据 真 的 值得 在 本 节 中 用 单独 的 一 部 分 讲解 吗 ? 我 们 在 这 里 
讲 干净 的 数据 是 因为 ， 分 析 专 家 的 数据 处 理 方式 必须 得 有 创造 性 。 数 据 
永远 不 会 像 我们 想 的 和 要 求 的 那样 和 干将， 数据 永远 都 会 有 缺陷 、 不 完整 
和 错误 ， 数 据 还 会 违背 分 析 方 案 中 的 一 些 假设 条 件 。 

我 们 在 学 校 上 学 的 时 候 ， 都 认为 数据 应 该 是 准确 的 、 干 津 的 、 完 整 
的 。 如 果 有 的 数据 点 不 是 这 样 ， 那 我 们 就 会 弄 清楚 原因 ， 然 后 调整 数 
据 。 每 一 个 在 校生 都 拥有 这 个 疯狂 的 想法 ， 教 科 书 的 例子 反映 了 他 们 以 
后 将 在 丙 业 世界 中 遇 到 的 情况 。 但 是 ， 丙 业 肯 定 不 是 按照 教科 书 的 方法 
在 运转 。 数 据 永 远 不 可 能 跟 谍 符 案 例 一 样 简单 。 例 如 ， 性 别 编码 除 
了 “M"、“F”“U" 以 外 ， 还 可 能 由 于 茶 些 未 知 原因 而 变 成 <H"。 同 样 ， 





























客户 也 许 会 在 杂货 商店 购买 10000000 美 元 的 商品 。 还 有 ， 虽 然 产品 将 被 
卖 出 ， 但 其 产品 代码 却 并 不 存在 。 

这 些 情 况 会 产生 严重 的 问题 。 换 句 话 说 ， 妆 数据 并 不 是 我 们 想 要 的 
和 我 们 所 要 求 的 ， 我 们 要 怎么 办 ? 我 们 是 不 是 应 该 忽视 那些 没有 真正 发 
生 购 买 行为 的 消费 者 ? 我 们 是 不 是 要 把 “H” 变 成 <“U”? 产品 代码 能 人 否 被 
正确 识别 ? 弄 清楚 如 何 才 能 最 有 效 地 利用 分 析 数 据 是 任何 分 析 工 作 中 最 
困难 的 部 分 ， 这 需要 有 一 定 的 创造 性 。 如 果 分 析 专 家 发 现 数据 不 完整 ， 
不 能 充分 地 解答 我 们 期 待 的 问题 ， 束 应 该 发 挥 创造 力 找到 方法 让 不 可 能 
变 成 可 能 。 在 这 个 过 程 中 ， 我 们 可 能 要 弃 用 其 中 某 部 分 数据 ， 或 者 修正 
一 部 分 数据 。 我 们 可 以 从 快速 解决 问题 并 取得 小 小 的 胜利 开始 ， 然 后 在 
此 基础 上 不 断 完善 己 有 的 成 果 。 


退 求 完善 ， 而 非 完美 

解决 业务 问题 时 ， 我 们 追求 的 目标 应 该 是 不 断 完 善 ， 而 非 追 求 完美 ， 理 解 这 一 点 很 重要 。 如 
果 只 要 把 数据 弄 得 干净 一 点 ， 就 能 获得 一 些 工作 成 果 和 提升 机 会 ， 这 该 有 多 好 。 优 秀 的 分 析 专 
家 关心 的 是 如 何 完善 工作 成 果 ， 如 何 从 不 标准 的 数据 中 努力 获得 他 们 想 要 的 结果 。 分 析 结 果 本 
身 可 能 并 不 完美 ， 但 它们 足以 支撑 决 集 ， 我 们 大 可 以 此 为 基础 不 断 地 改进 策略 ， 这 样 就 已 经 很 
好 了 。 







































































会 员 卡 分 析 束 是 这 样 一 个 领域 ， 它 的 数据 永远 也 会 不 完美 。 即 使 是 
最 忠实 的 客户 也 不 会 记得 每 次 部 使 用 他 们 的 会 员 卡 ， 这 束 意 味 看 每 位 客 
户 的 “整体 ”消费 状况 部 是 不 完整 的 。 然 而 ， 事 情 还 可 以 补救 。 真 正 优质 
的 客户 大 部 分 时 间 还 是 记得 使 用 他 们 的 会 员 卡 的 。 对 于 理解 客户 消费 ， 
这 些 数据 已 经 够 用 。 事 实 上 ， 人 缺少 一 些 数 据 并 不 意味 着 分 析 就 做 不 了 。 
当然 ， 有 的 客户 可 能 会 因为 信息 不 完整 而 被 略微 低估 ， 但 我 们 根据 这 些 
数据 其 实 已 经 足以 做 出 决策 了 了。 优秀 的 分 析 专 家 肯定 明白 这 一 点 。 

2. 足够 干净 的 数据 

















优秀 的 分 析 专 家 都 会 关心 的 一 个 重要 问题 是 ， 无 论 数 据 有 多 脏 ， 或 
者 多 大 程度 上 违背 了 假设 条 件 ， 数 据 是 否 还 足够 干净 。 依 徘 这 些 数 据 我 
们 能 得 到 让 人 信服 的 结果 吗 ? 我 们 能 通过 这 些 疝 可 信赖 的 数据 ， 得 到 可 
以 使 我 们 真正 有 所 收益 的 结果 吗 ? 如 果 答 案 是 肯定 的 ， 分 析 专 家 们 肯定 
会 否 力 尝试 。 数 据 根本 不 需要 过 于 完美 ， 只 要 足以 支撑 我 们 进行 决 集束 
可 以 了 。 优 秀 的 分 析 专 家 善于 创造 性 地 找到 验证 数据 是 否 干 净 的 方法 。 

作为 一 个 广泛 使 用 但 错误 很 多 的 数据 源 ， 家 庭 人 口 统 计 已 经 有 数 十 
年 历史 了 。 一 般 来 说 ， 人 口 统计 数据 供应 商都 能 获得 准确 的 统计 信息 。 
但 是 ， 我 们 还 是 要 假设 在 数据 编辑 过 程 中 ， 会 遇 到 家 庭 数据 不 准确 的 情 
况 ， 但 它们 并 不 会 妨碍 数据 的 有 效 性 。 即 使 有 些 家 许 的 数据 有 问题 ， 分 
析 所 得 的 粗 粒度 的 模式 和 发 展 趋势 也 是 可 信 的 。 即 使 数据 不 完美 ， 使 用 
这 些 数据 对 营销 人 员 来 说 也 是 非常 有 用 的 。 总 是 有 创造 性 的 办 法 来 解决 
这 些 已 经 存在 的 偏差 和 问题 。 如 果 仪 仪 古 因为 数据 错误 而 忽略 数据 ， 那 
许多 有 价值 的 分 析 都 会 不 复 存在 。 

优秀 的 分 析 专 家 会 在 企业 环境 中 想方设法 地 让 内 部 数据 源 产生 商业 
价值 。 这 取决 于 我 们 如 何 看 每 这 件 事情 ， 我 们 可 以 认为 瓶子 里 面 装 了 半 
上 瓶 水 ， 也 可 以 觉得 瓶子 里 面 空 了 半 瓶 水 。 正 如 第 1 章 所 述 ， 这 种 观点 对 
处 理 大 数据 也 是 适用 的 。 大 数据 往往 不 够 干净 ， 经 常会 包含 需要 过 小 挥 
的 见 余 信息 。 


8.4.3 ”了 商业 头脑 


优秀 的 分 析 专 家 既 能 理解 他 们 使 用 的 业务 模型 ， 也 能 理解 如 何 才能 
有 效 地 使 用 分 析 手 段 解决 实际 的 业务 问题 。 优 秀 的 分 析 专 家 既 能 从 业务 
角度 看 竺 重要 的 业务 指标 并 分 析 产 出 ， 也 能 从 技术 角度 看 竺 这些 指标 ， 
他 们 会 花 时 间 努 力 达 到 这 样 的 认识 高 度 。 不 管 我 们 的 商业 头脑 怎么 样 ， 
我 们 都 得 有 兴趣 ， 并 投入 足够 的 关注 和 精力 才能 把 分 析 工 作 做 好 。 如 果 


























我 们 对 理解 业务 本 喘 根 本 没有 任何 兴趣 和 意愿 ， 我 们 束 不 可 能 变 成 优秀 
的 分 析 专 家 。 

请 注意 ， 商 业 头 脑 和 行业 经 验 指 的 并 不 是 同一 件 事 。 行 业经 验 只 是 
一 组 事实 和 知识 的 集合 ， 商 业 头 脑 是 一 组 软 技 能 的 集合 。 如 果 东 个 分 析 
专家 很 有 商业 头脑 ， 那 么 他 在 转行 的 时 候 一 般 不 会 有 什么 问题 。 惑 像 前 
面 Mark 那 样 优秀 的 分 析 专 家 ， 他 们 可 以 把 他 们 的 商业 头脑 运用 在 其 他 场 
合 和 问题 上 。 我 们 在 面试 分 析 专 家 的 时 候 ， 要 问 清 楚 他 们 在 以 往 的 项 目 
中 古 如 何 进行 决策 的 。 如 果 候 选 人 有 商业 头脑 ， 他 们 残 会 提 到 目 己 的 一 
些 真 实 的 业务 和 技术 思考 。 你 们 之 间 的 讨论 肯定 会 或 多 或 少 涉及 对 解决 
业务 问题 方面 的 考 夸 。 没 有 商业 头脑 的 分 析 专 家 会 把 精力 主要 放 在 技术 
需求 和 条 件 假设 上 面 。 


奇异 有 的 混合 体 
优秀 的 分 析 专 家 都 是 奇异 的 混合 体 。 在 工作 中 ， 他 们 有 时 会 像 IT 人 员 那 样 做 纯 技 术 性 的 工 
作 ， 而 有 时 会 像 真 正 的 商人 那样 动用 商业 头脑 。 跨 界 思 考 问题 很 困难 ， 这 也 就 是 为 什么 成 为 一 
个 优秀 的 分 析 专 家 会 如 此 困难 。 
























































1. 适当 的 粒度 

我 们 所 说 的 商业 头脑 ， 其 中 一 方面 内 容 指 的 是 怎样 把 分 析 结 果 和 决 
策 粒度 联系 起 来 。 什 么 意思 呢 ? 比 方 说 ， 现 在 有 一 位 商人 要 求 一 名 分 析 
专家 来 提升 某 次 市 场 营 销 活 动 的 效果 ， 他 规定 只 要 构造 出 来 的 模型 比 目 
前 的 方法 好 2 个 百分点 ， 就 算 成 功 。 这 就 是 给 分 析 专 家 设 定 的 要 跨越 的 
标杆 。 他 们 要 对 自己 有 信心 ， 相 信 自 己 的 方法 的 效果 至 少 要 比 当前 的 方 
法 好 2 个 百分点 。 

他 们 会 在 演示 结果 时 说 自己 的 模型 比 基 准 效果 好 5.32526 个 百分点 
吗 ? 应 该 不 会 。 如 果 误 差 范 围 是 加 减 2 个 百分点 他 们 肯定 不 会 这 么 说 。 
如 果 误 差 范围 是 加 减 2 个 百分点 ， 还 有 谁 会 在 乎 点 估计 是 5.32526? 这 个 








时 候 百 分 位 纯粹 就 是 干扰 位 。 我 们 要 表达 的 关键 点 是 ， 加 减 2 个 百 分 
扩 ， 结 果 会 在 5 个 百 分 挟 上 再 提升 一 点 ; 最 坏 情 况 也 是 3 个 百 分 挟 ， 这 样 
模型 才能 肯定 比 2 个 百分点 的 基准 效果 要 好 。 这 就 是 所 有 商业 人 士 关心 
的 内 容 。 优 秀 的 分 析 专 家 不 会 让 业务 团队 被 更 多 的 细 贡 困扰 ， 他 们 会 条 
取 能 够 让 数据 增值 的 作法 。 他 们 会 用 目 己 的 商业 头脑 来 判断 需要 提供 哪 
些 内 容 ， 以 及 如 何 定位 分 析 结 果 。 

为 一 个 例子 与 需求 预测 有 关 。 几 年 前 ， 一 家 厂商 曾 宣称 它 的 需求 预 
测 结果 比 范 争 对 手 准 确 得 多 。 这 家 厂商 表示 在 一 般 情况 下 ， 使 用 者 手头 
只 需要 额外 预备 3 个 单位 ， 而 苋 争 对 手 推 荐 需要 预备 4 个 单位 。 项 目 投 资 
人 上 听 到 这 个 当然 很 高 兴 ， 但 问 了 一 个 问题 后 ， 他 们 就 不 再 那么 兴奋 了 。 
投资 人 问 的 是 ， 他 们 的 最 小 采购 单位 是 6， 现 在 该 上 怎样 来 判断 两 家 厂商 
预测 的 有 效 性 呢 ? 最 小 采购 单位 是 6， 任 何 粒度 更 细 的 措施 都 是 徒劳 
的 。 如 宁 分 析 专 家 有 很 好 的 商业 头脑 ， 并 以 正确 的 方式 解决 问题 ， 就 会 
提前 把 这 些 约束 条 件 识别 出 来 作为 前 期 的 铺垫 。 

2. 关注 重要 的 事情 

实际 数据 往往 会 违背 前 期 的 假设 条 件 。 例 如 ， 很 多 模型 都 会 假设 分 
布 是 正 态 的 。 从 理论 出 发 ， 我 们 要 考虑 这 些 假设 条 件 会 在 何 时 被 破坏 。 
但 从 实际 出 及， 如 果 两 个 变量 之 间 有 很 强 的 作用 关系 ， 不 管 使 用 何 种 方 
法 ， 这 种 作用 关系 都 会 以 某 种 形式 显现 出 来 。 这 是 不 是 说 明 在 先前 的 假 
设 被 严重 违背 时 ， 虽 然 我 们 选择 的 建 模 方 法 不 同 ， 但 参数 估计 和 影 啊 预 
测 却 仍然 是 相同 的 ? 当然 不 是 。 但 这 并 不 意味 着 即使 违背 了 先前 的 假设 
条 件 ， 并 使 用 了 不 同 的 方法 ， 起 重要 作用 的 因素 就 会 被 发 现 其 重要 性 。 
如 果 粒 度 本 身 不 需要 过 细 ， 那 粗略 的 作法 就 很 好 。 

征 侣 存在 这 种 场景 ， 使 用 线性 回归 法 证 明 两 个 变量 之 间 没 有 任何 天 
系 ， 但 使 用 U 型 曲线 却 可 以 完美 地 图 释 变量 之 间 的 关系 ， 从 而 违背 了 原 
先 的 线性 假设 条 件 ? 确实 存在 这 种 场景 。 关 键 在 于 这 不 是 不 可 能 的 ， 变 
量 关 系 在 多 数 情况 下 还 是 能 以 茶 种 方式 识别 出 来 的 。 如 有 果 分 析 项 目的 甲 












































方 要 的 是 二 值 决 策 ， 数 据 和 模型 只 需要 能 准确 地 给 出 这 种 二 值 决 策 就 可 
以 了 。 优 郁 的 分 析 专 家 知道 何 时 要 按照 需求 上 调 或 者 下 调 结果 的 精度 。 
图 8-1 就 是 这 样 的 一 个 例子 ， 图 中 有 些 数 据 很 明显 违背 了 线性 关系 的 假 
设 条 件 。 但 是 ， 如 果 我 们 需要 的 是 理解 两 个 变量 之 间 共 同 变化 的 趋势 ， 
那 回归 直线 就 能 有 效 地 反映 出 这 种 关系 的 本 质 。 
即使 数据 点 不 是 线性 相关 的 ， 


线性 回归 还 是 可 以 很 好 地 捕 提 a 
和 反映 一 般 关系 。 




















* 数据 点 回归 直线 
图 8-1 非 线 性 关系 的 线性 拟 合 





3. 文化 意识 

使 用 及 展 中 国家 作为 离 主 人 力 资源 是 IT 行业 的 大 趋势 之 一 。 分 析 市 
场 也 多 多 少 少 受 到 了 影响 。 我 们 现在 并 不 是 要 从 经 济 和 道德 的 角度 出 
发 ， 进 行 离 翌 是 好 还 是 坏 的 政治 意义 上 或 哲学 意义 上 的 讨论 。 这 些 问 题 
我 们 以 后 再 讨论 。 在 这 里 ， 我 们 想 要 讨论 的 是 当下 的 离 怪 市 场 是 否 可 以 
满足 业务 分 析 场 景 的 全 部 需要 。 

编写 本 书 之 时 ， 多 数 离 尾 人 力 外 包公 司 关 心 的 还 是 技术 本 里 ， 以 及 
怎样 对 团队 进行 技术 培训 。 他 们 往往 会 重点 强调 ， 目 己 有 25 个 会 使 用 所 
有 的 统计 软件 包 的 统计 学 博士 。 只 要 你 们 提出 问题 ， 他 们 就 能 给 出 答 
案 。 我 们 已 经 讨论 过 ， 对 于 优秀 的 分 析 专 家 来 说 ， 技 术 只 是 基础 。 而 
且 ， 如 果 分 析 专 家 没有 见识 过 真正 的 业务 环境 ， 就 很 难 培养 出 商业 头 
脑 。 

如 打分 析 问 题 本 身 清晰 简明 ， 离 兰 人 力 外 包公 司 提供 的 候选 人 就 能 
派 上 用 场 。 但 是 ， 如 果 想 要 依靠 离 岩 人力 资源 提供 端 到 端的 分 析 文 持 ， 














这 种 想法 肯定 会 碰壁 。 路 地 域 、 路 时 区 、 语 言 障 碍 这 些 情况 都 将 成 为 问 
题 。 这 些 问 题 本 壬 束 很 难处 理 。 离 尾 人 力 外 包公 司 与 合作 方 之 间 存 在 看 
巨大 的 文化 差异 ， 更 不 用 说 离 岸 人 力 外 包公 司 对 合作 方 所 在 国家 的 忠 维 
和 运作 方式 还 缺乏 经 验 和 了 解 。 

不 管 是 谁 来 提供 远程 文 持 ， 都 会 有 同样 的 风险 存在 。 正 如 印度 的 分 
析 专 家 如 采 没 有 见识 过 美国 的 业务 环境 就 无 法 提供 有 意义 的 分 析 一 样 ， 
如 果 类 国人 没 见 识 过 印度 的 业务 环境 ， 他 们 也 很 难 提 供 有 意义 的 业务 分 
析 。 

一 位 同事 曾经 告诉 过 我 一 个 很 棒 的 故事 ， 故 事 内 容 讲 的 是 一 家 食品 
行业 的 公司 招聘 离 尾 团队 为 宠物 食品 进行 分 析 。 故 事 开 始 之 前 ， 请 想象 
一 下 那 种 饶 装 狗 粮 和 袋 装 狗 粮 ， 有 些 上 面 还 印 有 幸福 的 小 狗 。 拿 到 分 析 
结果 后 ， 从 分 析 文 档 哆 唆 的 行文 风格 和 分 析 专 家 的 口头 演讲 中 ， 可 以 清 
楚 地 看 到 ， 分 析 专 家 完全 不 理解 什么 是 宠物 食品 。 分 析 结 果 跟 宠物 食品 
根本 至 无 关系 ， 讲 的 全 是 缸 闭 狗肉 ! 你 想 知道 后 续 的 情况 吗 ? 分 析 团 队 
的 结果 是 包 滚 上 印 制 的 驻 福 小 狗 对 饶 尖 里 的 狗 粮 根本 不 会 有 任何 兴趣 。 
相反 ， 笠 福 的 小 狗 还 被 放 到 缸 头 里 被 当成 了 了 人们 的 晚餐 ! 

角色 互 换 会 很 容易 出 现 类 似 的 问题 。 如 果 完 全 不 熟悉 业务 运营 环境 
和 文化 ， 就 很 难 拥 有 正确 的 商业 头脑 。 我 们 是 人 否 可 以 依靠 离 与 的 人 力 资 
源 呢 ? 如 果 使 用 得 当 ， 还 是 可 以 的 。 但 我 们 不 能 只 是 简单 地 把 业务 分 析 
问题 丢 出 去 ， 然 后 束 等 者 纯 拉 术 背景 的 离 尾 团队 自己 设 定 分 析 集 略 ， 解 
释 分析 结 果 ， 然 后 填 鸭 式 地 告诉 我 们 他 们 的 分 析 成 果 。 我 们 需要 真正 优 
蕉 的 、 有 商业 涉 脑 的 本 地 分 析 专 家 来 指导 整个 分 析 流 程 ， 这 样 才能 确保 
项 目 最 终 成 功 交 付 。 


8.4.4 ”演讲 能 力 与 沟通 技巧 


演讲 能 力 与 沟通 技巧 对 很 多 工作 都 是 非常 重要 的 ， 对 分 析 专 家 来 说 





























也 是 如 此 。 不 管 分 析 专 家 目 己 多 么 擅长 分 析 ， 如 果 他 们 干 的 不 是 大 学 毕 
业 生 就 能 干 的 活 儿 ， 别 人 对 他 们 的 要 求 束 会 很 品 ， 他 们 既 需 要 得 出 强 有 
力 的 分 析 结 果 ， 又 需要 能 把 分 析 结 果 用 吸引 眼球 的 简洁 故事 讲 出 来 。 优 
秀 的 分 析 专 家 能 够 牢 牢 地 吸引 住 不 懂 技 术 的 人 ， 用 他 们 入 得 的 语言 来 描 
述 分 析 结果 ， 使 他 们 对 分 析 结 有 果 感 到 无 比 兴 奋 。 优 秀 的 分 析 专 家 会 讲 一 
个 动听 的 故事 ， 而 不 是 简单 地 重复 统计 数字 和 事实 。 

分 析 专 家 不 会 面 对 业 务 听 众 大 讲 特 讲 共 线 性 分 机 、 模 型 统计 数据 汇 
忆 和 其 他 一 些 深入 的 技术 细节 。 他 们 会 说 , “这 是 我 们 所 发 现 的 ， 这 是 
它们 为 什么 很 重要 的 原因 ， 这 是 您 应 当 以 此 作为 结论 的 依据 。” 此 外 ， 
分 析 专 家 还 会 与 业务 人 员 进 行 讨论 ， 告 诉 他 们 采取 何 种 措施 可 以 获 利 。 
产品 销售 额 会 提升 吗 ? 利润 空间 会 扩大 吗 ? 说 到 确 ， 业 务 人 员 关 心 的 还 
古 分 析 结 果 能 够 怎样 帮助 到 他 们 ， 而 不 是 搁 术 本 号 。 

分 析 专 家 应 该 用 一 种 简短 的 、 一 针 见 血 的 方式 来 沟通 分 析 结 果 。 不 
管 他 们 采用 的 是 约 灯 片 还 是 书面 文 要 ， 都 需要 掌握 大 量 书面 交流 的 技 
巧 。 而 无 论 是 正式 演讲 ， 还 是 办 公 室 中 简单 的 临时 讨论 ， 分 析 专 家 都 需 
要 掌握 很 多 口头 沟通 和 演讲 的 技巧 。 

















试 轰 
评判 一 名 分 析 专 家 的 演讲 能 力 和 沟通 技巧 最 行 之 有 效 的 方法 是 ， 让 他 们 在 面试 阶段 进行 演 
讲 。 这 样 我 们 就 能 看 清楚 这 个 人 ， 分 辨 他 们 有 没有 成 为 优秀 分 析 专 家 的 潜质 。 

































































并 非 每 一 位 分 析 专 家 都 能 站 在 大 寿 广 众 下 ， 或 者 站 在 执行 委员 会 会 
议 上 还 可 以 表现 得 泰然 自 奋 。 人 至 少 他 们 在 刚 工 作 的 时 候 做 不 到 这 一 点 。 
但 是 ， 每 一 位 优秀 的 分 析 专 家 都 需要 能 在 办 公 室 或 会 议 室 里 ， 站 在 项 目 
投资 方 和 他 们 的 老板 和 面前， 侃侃 而 谈 。 评 判 一 名 分 析 专 家 的 演讲 能 力 和 
沟通 技巧 最 行 之 有 效 的 方法 是 ， 让 他 们 在 面试 阶段 进行 演讲 。 我 们 既 可 
以 给 他 们 安排 一 个 泛泛 的 题目 ， 也 可 以 让 他 们 上 自主 选择 题目 。 这 样 就 能 








看 到 他 们 的 作法 和 在 压力 面前 的 承受 能 力 。 面 试 候 选 人 的 沟通 技能 
在 几 分 钟 内 一 览 无 余 。 

1. 结果 并 不 是 成 功 最 重要 的 部 分 

你 肯定 对 这 人 句 话 感到 吃惊 。 但 是 ， 判 断 一 个 分 析 项 目 是 否 成 功 的 标 
准 并 不 只 取决 于 分 析 结 果 的 质量 。 理 想 情 况 可 能 确实 如 此 ， 但 现实 情况 
并 非 如 此 。 首 先 ， 积 极地 将 分 析 结 果 弄 得 更 准确 是 很 重要 的 。 每 一 位 分 
析 专 家 确保 每 次 的 分 析 结 末 正确 无 误 是 非常 重要 的 。 但 是 ， 站 在 分 析 项 
目 投资 方 的 角度 看 ， 分 析 结 宁 本 喘 对 于 判断 项 目 是 否 成 功 最 多 占 了 
50% 。 那 还 有 什么 事 儿 同样 重要 呢 ? 

剩余 的 50% 就 体现 在 分 析 专 家 的 演讲 能 力 和 将 结果 文档 化 的 能 
上 。 他 们 能 有 效 地 定位 分 析 结 果 吗 ? 分 析 专 家 能 否 用 吸引 听众 的 方式 陈 
述 结果 ， 并 让 听众 放心 地 采取 行动 ? 我 认为 这 一 点 再 怎么 强调 也 不 为 
过 。 无 论 分 析 方 法 本 身 有 多 么 吸引 人 ， 优 秀 的 分 析 专 家 也 不 应 该 只 关心 
分 析 方 法 本 映 。 他 们 应 该 留 出 时 间 来 想 如 何 才 能 正确 地 解释 、 定 位 结 
果 ， 并 将 分 析 结 果 更 好 地 兜售 给 分 析 的 投资 方 。 


傻瓜 ， 这 就 是 交付 ! 

隐 长 复杂 的 分 析 结 果 需 要 提炼 成 可 以 消化 吸收 的 观点 。 而 分 析 专 家 想 要 具备 这 样 的 能 力 ， 需 
要 不 断 实 践 、 辛 勤 工 作 。 分 析 专 家 经 常会 觉得 自己 把 事情 淡化 了 。 虽 然 要 有 细节 和 对 分 析 结 果 
的 辩护 ， 但 不 应 该 一 开始 就 陷入 到 细节 中 。 如 果 讨 论 过 细 ， 业 务 团 队 成 员 的 眼神 就 会 变 得 范 
然 ， 他 们 的 注意 力也 会 开始 变 得 分 散 ， 这 样 ， 他 们 最 终 就 不 会 采纳 我 们 的 分 析 结 果 。 优 秀 的 分 
析 专 家 会 让 投资 方 一 直 充 满 兴 趣 。 


将 会 
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业务 团队 才 不 会 关心 你 已 经 辛 吾 了 10 个 星期 ， 也 不 会 关心 具体 的 技 
术 细 市 ， 他 们 只 关心 结果 。 分 析 专 家 必须 清晰 有 效 地 传达 结果 ， 否 则 结 
果 束 会 被 无 视 。 好 的 结果 是 项 目 成 功 的 必要 条 件 ， 但 却 不 是 充分 条 件 。 
优秀 的 分 析 专 家 会 理解 这 一 点 ， 会 适当 地 关注 交付 过 程 。 





2. 广告 业 给 我 们 上 的 一 区 谋 

分 析 专 家 总 是 辟 欢 不 断 地 衡量 来 衡量 去 。 他 们 喜欢 以 检验 结果 是 否 
奏效 的 方式 来 进行 工作 。 在 直销 市 场 中 ， 这 是 正确 的 作法 。 分 析 专 家 还 
会 运行 一 个 模型 ， 并 生成 一 份 人 员 名 单 ， 然 后 再 发 电子 邮件 ， 打 电话 ， 
或 者 用 其 他 方式 进行 联系 。 分 析 后 合 可 以 准确 地 告诉 我 们 业务 的 提升 
度 。 如 果 方 法 奏效 ， 我 们 就 可 以 铸 手 干 更 多 类 似 的 事情 。 如 有 果 方 法 无 
效 ， 团 队 会 停 下 来 转投 其 他 方 同 。 

许多 公司 的 预算 大 头 都 花 在 了 电视 、 广 播 、 报 纸 等 大 众 传媒 渠道 
上 。 这 些 媒体 确实 能 产生 影响 。 但 是 ， 要 想 非常 准确 地 和 弄 清楚 这 些 媒体 
究竟 能 产生 多 大 的 影响 基本 上 有 是 不 可 能 的 ， 评 估 广 告 产生 的 影响 是 很 不 
容易 的 。 和 尝试 评估 电视 、 广 播 、 印 刷 品 营销 能 够 产生 多 大 市 场 提升 度 的 
方法 学 也 是 不 靠 谱 的 。 更 低层 次 采用 的 方法 ， 例 如 店面 级 别 的 ， 也 好 不 
了 多 少 。 广 告 仍然 无 处 不 在 ， 虽 然 也 有 一 些 选 择 是 可 以 衡量 效果 的 ， 但 
公司 的 预算 还 是 没有 转投 那些 地 方 ， 这 是 为 什么 ? 

其 中 一 个 原因 是 ， 直 销 市 场 在 谈论 使 得 更 好 的 精准 营销 能 够 成 为 现 
实 的 业务 分 析 ， 没 有 什么 会 比 听 到 这 些 内 容 更 让 人 兴奋 了。 直销 分 析 可 
以 用 统计 方法 识别 出 哪些 人 最 有 可 能 会 啊 应 ， 然 后 企业 就 能 找到 他 们 ， 
并 卖 出 更 多 的 产品 。 当 然 了 ， 销 售 驱 动 使 得 顾客 眼前 一 党， 但 实际 上 没 
有 什么 激动 人 心 的 故事 情节 。 

“ 告 公 司 是 怎样 制订 计划 的 ? 它们 运用 多 媒体 演示 效果 ， 和 着 动听 
的 首 乐 和 动感 的 视频 ， 说 厦 时 下 流行 的 广告 语 。 它 们 会 让 听众 对 他 们 的 
计划 满怀 人 信心， 立即 签约 。 即 使 这 种 营销 效果 在 后 台 不 能 清楚 地 计算 出 
来 也 没有 关系 ， 因 为 听众 已 经 被 广告 公司 带 入 一 场 视觉 齐 受 的 盛宴 中 
上 
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我 们 不 能 指责 广告 公司 (发 那些 垃圾 信件 ) ， 相 反 ， 我 们 还 要 赞扬 
它们 。 广 告 并 不 像 其 他 活动 那样 可 以 衡量 效果 ， 但 是 广告 还 是 要 消耗 把 
公司 很 大 一 笔 开 文 。 部 分 原因 是 因为 广告 行业 有 能 力 吸 引 投 资方 的 注意 








力 。 广 告 公司 能 够 完全 地 理解 和 利用 沟通 能 力 与 演示 技巧 。 如 果 想 要 成 
为 优秀 的 分 析 专 家 ， 我 们 可 以 从 广告 公司 的 身上 学 到 很 多 东西 。 试 想 一 
下 ， 如 果 活 动 效 果 可 以 准确 衡量 ， 再 配 以 有 效 的 分 析 ， 以 及 广告 活动 在 
商业 活动 中 注入 的 兴 香 度 ， 这 样 的 项 目 该 有 多 和 牛 。 





8.4.5 ”直觉 








直觉 是 最 难 定义 的 特质 了 。 如 有 果 看 不 到 他 们 的 行为 ， 很 难 判断 一 个 
人 的 直觉 怎么 样 。 我 们 说 的 直觉 ， 就 是 分 析 专 家 对 下 一 步 要 做 什么 的 感 
箔 。 过 到 障碍 时 ， 分 析 专 家 会 坐 下 来 冷静 地 分 析 ， 他 们 会 找 出 可 以 采取 
的 A、B、C、D 四 种 措施 。 他 们 的 选择 有 多 准确 ? 他 们 是 不 是 有 很 好 的 

觉 ， 可 以 使 这 些 方向 逐步 实现 ? 他 们 的 选择 是 不 是 大 多 情况 下 都 成 功 
了 ? 在 最 后 制订 出 计划 前 ， 他 们 是 不 是 已 经 被 各 种 选择 搞 得 手忙脚乱 ? 
优秀 的 分 析 专 家 会 用 一 种 不 可 思议 的 能 力 选择 一 条 好 的 道路 。 

我 推荐 你 们 读 一 读 这 本 书 ，Daniel H. Pink (Riverhead Trade，2006 ) 
的 《A Whole New Mind》 。 这 本 书 总 结 了 一 些 非 常 有 趣 的 观点 ， 从 技术 
如 何 帮助 人 们 在 该 领域 获得 成 功 ， 到 我 们 之 前 所 谈 到 的 多 种 特质 。Pink 
的 书 从 更 广泛 的 角度 讨论 了 我 们 刚才 讨论 过 的 一 些 主题 。 

从 许多 方面 来 讲 ， 直 觉 都 是 一 种 与 生 俱 来 的 技能 。 但 直觉 还 是 可 以 
调整 和 培养 的 。 最 终 ， 直 觉 融 合 了 以 往 类 似 问题 的 解决 方法 与 经 验 。 直 
觉 是 以 这 些 方法 和 经 验 作为 基础 的 ， 保 持 足 够 明智 的 态度 ， 弄 清楚 何 时 
可 以 再 次 应 用 以 往 的 经 验 ， 何 时 可 以 做 适当 的 调整 以 适应 新 的 情况 。 

好 的 直觉 是 成 为 优秀 分 析 专 家 的 决定 性 因素 ， 但 我 们 在 面试 的 时 候 
很 难 判断 出 一 个 人 的 直觉 。 一 些 我 们 认为 可 以 使 用 的 标准 可 能 并 不 是 人 
力 资 源 的 评判 标准 ， 因 为 这 些 标 准 太 过 于 主观 。 经 过 一 段 时 日 ， 根 据 分 
析 专 家 们 的 表现 和 处 理 问 题 的 方法 ， 我 们 上 自然 就 能 看 出 来 他 们 究竟 是 不 
是 有 好 的 直觉 。 


























是 艺术 还 是 科学 

本 章 要 表达 的 一 个 主题 是 ， 分 析 不 止 是 科学 ， 还 是 一 门 艺术 。 优 秀 
的 分 析 是 可 徘 的 科学 加 上 艺术 的 神 来 之 笔 。 分 析 的 艺术 在 于 弄 清楚 如 何 
处 理 非常 规 的 问题 ， 如 何 组 织 一 场 激 动人 心 的 演讲 ， 如 何 用 最 好 的 方式 
来 解释 我 们 的 分 析 成 果 。 优 秀 的 分 析 专 家 必须 既 有 科学 素养 ， 又 有 艺术 
细胞 ， 他 们 不 但 是 科学 家 还 是 艺术 家 ! 

聚 类 分 析 是 一 种 模型 分 群 算法 ， 下 面 我 们 来 看 一 个 聚 类 分 析 的 例 
子 。 还 没有 哪 种 简单 的 并 被 大 家 广 沁 认可 的 度量 方法 ， 可 以 像 从 类 分 析 
这 样 方便 地 找 出 正确 的 答案 。 分 群 建 模 方法 真 的 是 一 门 艺术 。 经 种 使 用 
分 群 模型 的 分 析 专 家 都 有 上 自己 的 搜索 原则 。 比 如 我 使 用 这 种 模型 的 时 候 
就 有 目 己 的 操作 流程 。 我 知道 自己 要 往 哪儿 去 ， 我 要 找 的 是 哪 种 模式 。 
但 是 ， 我 很 难 给 别人 讲 清楚 这 一 点 。 同 样 ， 其 他 人 也 无 法 向 我 解释 清楚 
他 们 的 方法 。 每 个 分 析 专 家 都 有 自己 进行 分 群 模型 分 析 方 法 ， 这 些 方法 
对 于 他 们 来 说 就 是 艺术 。 

信任 对 于 分 析 专 家 的 工作 至 关 重 要 ， 这 个 观点 正在 逐渐 被 人 们 所 接 
受 。 面 对 需要 很 多 艺术 处 理 的 分 析 数 据 ， 信 任 就 变 得 更 加 重要 了 。 如 末 
没有 什么 指标 可 以 清楚 地 告诉 我 们 要 做 何 选择 ， 业 务 投资 方 就 必须 得 相 
信和 分 析 专 家 的 直觉 ， 相 信和 他 们 的 艺术 处 理 方 法 。 获 得 这 种 程度 的 信任 需 
要 跨越 相当 大 的 一 步 ， 需 要 很 长 时 间 才 能 建立 起 这 种 信任 关系 。 优 秀 的 
分 析 专 家 会 伦 时 间 来 建立 这 种 信任 ， 他 们 愿意 成 为 业务 伙伴 可 以 信赖 的 
顾问 。 


以 艺术 家 身份 出 现 的 分 析 专 家 
不 同 的 画家 面 对 同 一 处 风景 ， 他 们 可 以 使 用 完全 不 同 的 技法 但 都 画 出 了 引人入胜 的 作品 。 不 
同 的 分 析 专 家 也 可 以 使 用 完全 不 同 的 方法 来 做 分 析 ， 这 就 是 分 析 本 吴 的 艺术 性 。 有 些 算法 本 吴 
没有 多 少 艺术 人 处理 的 余地 ， 但 保持 艺术 的 态度 肯定 可 以 更 好 地 支撑 决策 、 定 义 问 题 、 设 计 分 析 
方法 ， 以 及 根据 手头 数据 得 到 解决 方案 。 优 秀 的 分 析 专 家 既是 艺术 家 又 是 科学 家 。 




















































































































最 近 ， 分 析 轿 子 里 面 最 火 的 话题 是 公司 中 数据 科学 家 所 扮演 的 角 
色 。 正 如 本 章 之 前 讲述 的 那样 ， 数 据 科 学 家 做 的 事情 与 高 级 分 析 专 家 做 
的 事情 本 质 上 并 没有 太 多 不 同 。 传 统 意义 上 的 分 析 专 家 如 果 想 要 变 成 数 
据 科学 家 ， 需 要 掌握 类 似 MapReduce 的 这 类 工具 ， 但 学 习 新 工具 对 于 分 
析 专 家 来 说 并 不 算是 新 事物 。 数 据 科 学 家 的 工具 箱 里 有 新 的 工具 吗 ? 答 
案 是 肯定 的 。 他 们 会 有 完全 不 同 的 分 析 意 图 吗 ? 答案 是 否定 的 。 

和 数据 科学 家 这 个 概念 同样 重要 的 是 ， 我 们 要 把 分 析 专 家 看 成 是 使 
用 数据 的 和 艺术家。 他 们 是 要 深入 挖掘 公司 数据 的 人 ， 他 们 也 要 用 优雅 的 
有 吸引 为 的 方法 来 创造 性 地 利用 数据 解决 问题 。 就 像 男 家 可 以 挥洒 颜料 
作画 来 装饰 墙 面 一 样 ， 数 据 艺 术 家 们 也 可 以 把 数据 变 成 业务 问题 的 解决 
方案 。 

优秀 的 分 析 专 家 既是 艺术 家 又 是 科学 家 。 同 时 拥有 两 种 本 领 ， 当 然 
比 只 拥护 有 一 种 技能 要 强 。 如 果 你 怀疑 这 种 说 法 ， 间 问 你 认识 的 那些 优 
秀 的 分 析 专 家 ， 他 们 的 技能 和 兴趣 是 什么 。 你 会 恢 讶 地 发 现 他 们 还 有 音 
乐 、 美 术 和 其 他 需要 创造 力 的 领域 的 才能 ， 而 我 们 以 前 并 不 知道 他 们 还 
有 这 些 才能 。 


8.5 分析 认证 有 意义 吗 ， 还 是 干扰 视听 的 噪 首 


近来 关于 开发 分 析 专家 认证 项 目的 讨论 多 了 起 来 。 这 类 认证 从 概念 
上 讲 和 注册 会 计 师 认 证 〈CPA) 以 及 理财 规划 师 认 证 〈CFP) 没有 什么 
不 同 。 分 析 专 家 这 种 职业 有 必要 发 起 认证 项 目 ， 好 让 用 人 单位 可 以 评估 
哪些 人 满足 了 最 低 用 人 门槛 吗 ? 

我 曾经 读 到 过 有 一 些 组 织 想 要 开发 这 类 认证 项 目 ， 也 参与 讨论 过 一 
些 很 酷 的 想法 。 最 大 的 挑战 在 于 要 确切 地 和 弄 清楚 需要 测试 的 内 容 。 如 若 
想 要 识别 优秀 的 分 析 专 家 ， 我 们 前 面 已 经 很 细致 地 讲 过 ， 技 术 敏 感度 很 




















容易 测试 ， 但 蛙 纯 参考 关于 拉 术 的 评价 就 是 一 种 赌注 。 判 断 一 个 人 是 否 
会 写 程序 或 者 能 够 理解 线性 回归 方法 背后 的 假设 ， 这 些 并 不 困难 。 但 
是 ， 创 造 力 要 怎么 测试 ? 直觉 要 怎么 测试 ?商业 头脑 要 怎么 测试 ?演讲 
能 力 和 沟通 技巧 要 怎么 测试 ? 分 析 场 景 下 的 这 些 特质 要 怎么 测试 ? 这 些 
方面 要 困难 得 多 。 

让 分 析 专 家 展示 他 们 有 能 力也 有 意愿 通过 类 似 的 考试 ， 当 然 也 不 
错 。 问 题 是 任何 从 成 本 和 有 效 性 方面 制订 的 认证 都 会 主要 侧重 于 对 技术 
能 力 的 考察 。 虽 然 这 类 考试 会 变 成 赌注 筹码 ， 但 至 少 能 证 明 一 个 人 是 否 
有 技术 能 力 ， 以 及 是 否 有 足够 的 意愿 去 考取 认证 证 书 。 但 我 们 在 这 些 技 
术 能 力 的 基础 上 ， 还 得 弄 清楚 他 们 是 否 还 具备 了 我 们 所 需要 的 其 他 能 
力 ， 例 如 创造 力 。 以 这 种 方式 来 考 夸 问题 ， 认 证 项 目 就 是 好 事情 。 如 果 
只 是 作为 一 种 指标 或 者 标准 ， 认 证 项 目 将 无 法 满足 我 们 的 需要 。 

分 析 疾 子 将 会 广泛 采用 认证 项 目 吗 ? 如 果 制 订 认 证 项 目的 各 类 机 构 
都 能 给 市 场 带 来 一 些 新 鲜 气 县 ， 久 而 久之 肯定 会 有 一 两 个 电 家 冒 出 来 。 
但 是 ， 不 管 考试 本 身 组 织 得 有 多 好 ， 用 人 单位 也 不 应 该 单纯 参考 技术 认 
证 来 进行 招聘 。 根 据 我 先前 关于 工作 需求 清单 的 讨论 ， 用 人 单位 甚至 并 
不 想 用 认证 作为 强制 性 要 求 。 但 只 要 认证 考试 运用 得 当 ， 它 们 还 是 有 价 
值 的 。 

说 到 这 里 ， 谁 是 优秀 的 分 析 专 家 应 该 很 明日 了 。 他 们 * 拥 有 ”数据 ， 
他 们 知道 如 何 使 用 这 些 数据 ， 他 们 也 知道 如 何 组 织 这 些 数据 ， 他 们 还 能 
发 现 数据 中 的 模式 。 优 秀 的 分 析 专家 能 够 “解决 "业务 问题 ， 他 们 了 解 业 
务 人 员 需 求 的 重要 性 ， 也 了 解 为 什么 需要 解决 这 些 问题 ， 他 们 了 解 现 实 
约束 ， 了 解 如 何 解答 业务 人 员 提 出 的 问题 。 优 秀 的 分 析 专 家 了解? 如何 
正确 地 描述 问题 ， 收 入 重要 ， 还 是 利润 重要 ? 问题 真正 的 关键 点 在 哪 
里 ， 为 什么 要 这 么 说 ? 分 析 应 该 怎样 设计 ? 最后， 优秀 的 分 析 专 家 “ 知 
道 ” 不 能 只 把 目 己 当成 科学 家 ， 业 内 最 好 的 分 析 专 家 坚 无 疑问 也 是 艺术 
家 ! 























8.6 ”本 章 小 结 


以 下 是 本 章 的 重点 内 容 。 

四 ”我 们 在 招聘 分 析 专 家 时 ， 要 以 技术 和 教育 背景 作为 起 点 ， 而 不 是 
最 终 要 评判 标准 。 

四 ”我 们 要 招聘 不 同行 业 背 景 的 分 析 专 家 ， 要 借鉴 其 他 行业 的 游戏 规 
则 。 

量 评判 优秀 的 分 析 专 家 时 ， 承 诺 、 创 造 力 、 商 业 头 脑 、 演 讲 能 力 与 
沟通 技巧 、 直 筑 都 是 关键 因素 ， 但 这 些 因 素 往 往 会 被 人 们 认为 并 不 重 





要 。 
四 只 有 一 小 部 分 具备 技术 能 力 的 人 ， 能 够 具备 前 面 描述 的 那些 非 技 
术 要 素 。 


四 ”优秀 的 分 析 专 家 关心 的 是 如 何 完善 业务 ， 而 非 使 之 完美 。 知 道 分 
析 结 果 何 时 已 经 足以 支撑 业务 决策 是 非 第 重要 的 ， 然 后 着手 解决 下 一 个 
问题 。 

四 ”优秀 的 分 析 专 家 会 把 所 需 的 数据 准确 度 和 决策 粒度 完美 地 络 合 起 
来 。 不 完美 的 数据 仍然 可 以 有 效 地 回答 许多 问题 。 

四 ”如今 的 离 尾 分 析 太 过 关注 拉 术 技能 。 我 们 要 需要 那些 优秀 的 本 地 
分 析 专 家 一 起 协同 工作 才 行 。 

四 ”里 然 说 得 到 可 徘 的 结果 很 重要 ,但 项 目 成 败 至 少 有 50% 的 因 系 取 
决 于 分 析 专 家 的 演讲 ， 以 及 他 们 如 何 把 分 析 结 果 传 达 给 不 懂 技 术 的 项 目 
投资 方 。 

四 ”很 多 机 构 都 在 开发 分 析 认 证 项 目 。 时 间 会 告诉 我 们 认证 项 目 会 不 
会 被 市 场 接受 ， 认 证 只 是 评估 候选 人 的 起 点 。 

四 ”最 优秀 的 分 析 专 家 不 仅 是 掌握 数据 的 科学 家 还 是 数据 处 理 的 艺术 
家 ， 这 一 点 足以 让 很 多 人 恢 讶 。 不 要 低估 艺术 才华 对 于 优秀 分 析 专 家 的 














第 9 音 
如 何 打造 优秀 的 分 析 团 队 


如 何 组建 分 析 团 队 ， 许 多 机 构 对 此 都 痛苦 不 已 。 与 人 力 资 源 部 或 财 
务 部 不 同 ， 分 析 专 家 在 公司 内 的 定位 ， 以 及 他 们 的 工作 范围 都 没有 定 
式 。 我 们 在 本 书 中 所 说 的 分 析 ， 指 的 是 预测 建 模 、 数 据 挖掘 以 及 其 他 一 
些 高 级 分 析 工 作 ， 而 不 是 像 定 制 报表 和 电子 表格 这 样 程式 化 的 工作 。 我 
们 所 说 的 分 析 专 家 ， 指 的 就 是 处 理 这 些 事务 的 人 。 许 多 公司 里 都 有 各 种 
分 析 专 家 ， 他 们 在 为 不 同 的 部 门 工作 ， 他 们 解决 问题 的 环境 ， 使 用 的 方 
法 ， 甚 至 需要 参加 的 各 类 培训 都 有 很 大 的 不 同 。 

其 他 领域 并 不 总 是 这 么 复杂 。 一 般 来 说 ， 人 力 资 源 部 是 公司 中 一 个 
集中 式 的 部 门 。 即 使 人 力 资 源 部 的 职员 要 为 不 同 的 业务 部 门 做 招聘 ， 其 
对 招聘 人 员 的 工作 职责 描述 与 未 来 他 们 所 做 的 工作 还 是 高 度 一 致 的 。 但 
在 分 析 领 域 并 不 是 这 样 ， 例 如 ， 和 运营 文 撑 部 门 和 采购 部 门 对 分 析 的 要 求 
就 很 不 一 样 ， 风 险 团 队 关 注 的 事情 和 市 场 营销 部 门 关心 的 事情 也 很 不 一 
样 。 

这 样 就 出 现 了 一 些 问 题 。 我 们 应 该 怎样 组 建 分 析 团 队 ? 分 析 团 队 要 
怎样 才能 融入 到 公司 的 大 环境 中 ? 要 想 获得 最 大 程度 的 成 功 ， 我 们 应 该 
怎样 合理 地 配置 资源 ? 在 组 建 团队 之 前 ， 我 们 要 把 这 些 事情 弄 得 多 明 
折 ? 本 章 要 讲 的 内 容 是 ， 不 管 分 析 团 队 在 公司 里 的 什么 地 方 ， 都 将 会 面 
临 的 挑战 。 如 果 要 组 建 可 以 驾驭 大 数据 的 、 优 秀 的 分 析 团 队 ， 我 们 必须 
要 战胜 这 些 挑 战 。 下 面 我 们 来 更 深入 地 探讨 这 一 点 。 


9.1 各 个 行业 并 非 生 而 平等 


一 些 行业 的 分 析 是 区 入 在 决 集 流程 中 的 ， 包 括 银 行业 、 金 融 业 和 物 











流 业 等 。 这 些 行业 的 公司 往往 有 许多 分 析 专 家 ， 例 如 ， 风 险 管 理 领域 就 
古 由 分 析 驱 动 的 。 我 们 在 邮箱 里 收 到 的 所 有 信用 卡 名 单 都 是 通过 分 析 计 
算出 来 的 。 在 你 的 信用 卡 开 卡 申 请 寄 到 我 们 的 邮箱 之 前 ， 关 于 你 的 数据 
就 已 经 被 详细 地 分 析 过 了 ， 而 且 我 们 认为 你 的 申请 风险 很 小 。 哪 怕 是 在 
小 型 区 域 性 银行 ， 我 们 也 会 及 现 那里 有 一 群 分 析 员 。 信 用 卡 优惠 领域 需 
要 强 有 力 的 分 析 ， 没 有 哪 家 公司 敢 不 经 过 分 析 就 采取 行动 。 如 果 我 们 能 
更 准确 地 挑选 出 哪些 客户 不 会 拖欠 信用 卡 账单 ， 那 整个 公司 的 实力 将 会 
因此 得 到 提升 。 

还 有 一 些 行业 是 混合 型 的 。 在 这 些 行业 中 ， 有 的 公司 分 析 搞 得 不 
错 ， 而 有 的 公司 根本 没有 任何 分 析 。 和 零售 业 和 制造 业 就 是 这 样 的 例子 。 
有 的 制造 商 精 于 分 析 之 道 ， 而 有 的 制造 商 因 为 本 映 是 区 域 性 的 ， 连 做 个 
电子 表格 报表 分 析 都 很 困难 。 这 些 制造 商 要 是 能 多 开展 一 些 分 析 活 动 ， 
那 该 多 好 ? 


了 解 你 的 行业 所 处 的 位 置 
有 好 消息 ， 也 有 坏 消息 。 如 果 我 们 的 行业 重金 投入 分 析 ， 那 行业 中 应 该 有 大 量 的 、 拥 有 该 行 
业经 验 的 分 析 专 家 可 供 我 们 选择 。 然 而 ， 你 的 公司 需要 努力 跟 上 行业 领头 羊 的 步伐 。 如 果 你 所 
处 的 行业 对 分 析 疫 有 那么 重视 ， 那 你 应 该 庆幸 自己 有 机 会 可 以 挺立 潮 头 。 遗 憾 的 是 ， 这 时 我 们 
不 会 有 太 多 可 以 借鉴 的 成 功 经 验 。 




































































许多 美国 知名 的 零售 连锁 商店 过 去 会 把 相同 斥 码 组 合 的 成 衣 配 送 给 
所 有 的 店面 。 你 注意 过 吗 ， 许 多 商店 一 直 都 没有 你 能 罕 的 斥 码 ， 但 你 罕 
不 上 的 尺码 却 有 一 大 堆 反 在 那里 ? 很 多 零售 两 还 没有 尝试 过 把 商店 的 库 
存 和 当地 的 客户 需求 下 配 起 来 。 丙 店 的 尺码 采购 组 合 可 能 没有 问题 ， 但 
由 于 店面 的 位 置 不 同 ， 购 买 者 距离 商店 的 远近 程度 不 同 ， 以 及 商店 中 商 
铺 的 不 同 ， 部 会 影响 消费 者 选 购 的 尺码 。 尺 码 分 析 殊 是 确定 每 家 商店 的 
正确 尺码 组 合 的 过 程 ， 通 常用 来 确定 上 衣 和 袜子 的 尺码 组 合 比 例 。 一 些 
































店面 需要 更 多 大 尺码 ， 为 一 些 商 店 需 要 更 多 小 尺码 。 很 多 零售 商 在 尺码 
方面 都 非常 精明 ， 但 仍 有 不 少 零 售 商 摸 不 着 头 脑 。 

即使 在 使 用 分 析 的 公司 里 ， 各 个 部 门 的 情况 也 不 一 样 。 茶 家 公司 可 
能 会 熟 答 某 些 业 务 领 域 ， 但 对 其 他 领域 根本 不 熟悉 。 某 家 电信 公司 可 能 
在 防止 客户 流失 《客户 转投 竞争 对 手 ) 的 营销 上 做 得 非常 好 ， 但 却 不 擅 
长 建立 产品 定价 影响 的 预测 模型 。 

要 让 优秀 的 分 析 团 队 运 转 起 来 ， 我 们 要 面 对 诸 多 挑战 。 如 果 团 队 已 
经 存在 ， 随 着 团队 持续 不 断 地 增长 ， 挑 战 也 会 不 断 地 增加 。 不 管 一 个 行 
业 处 在 什么 位 置 ， 挑 战 依然 存在 并 且 持 续 增 加 。 我 们 假定 本 书 的 读者 都 
古 想 帮助 公司 做 更 多 、 更 好 分 析 的 人 ， 并 且 希 望 帮助 公司 驾驭 大 数据 浪 
滑 。 如 果 征 这 样 ， 那 就 少不了 一 文 优秀 的 分 析 团 队 。 


9.2 ”行动 起 来 


我 们 不 能 因为 想 不 清 楚 从 何 处 入 手 束 路 踏 不 前 。 那 是 最 糟 糙 的 事 
情 ， 因 为 这 样 会 良 费时 间 ， 拖 延 进度 ， 以 及 延迟 产生 效益 。 如 果 我 们 能 
够 招聘 到 第 8 革 中 所 讲 的 合适 人 选 ， 就 可 以 在 他 们 的 帮助 之 下 ， 弄 清楚 
如 何 才能 成 功 地 组 建 团 队 ， 并 使 工作 效率 更 高 。 我 们 要 让 正确 的 人 来 做 
正确 的 事 。 做 到 了 这 一 点 ， 组 织 染 构 调 整 就 只 古 时 间 上 的 问题 。 

就 在 几 年 前 ， 我 曾经 工作 过 的 一 家 公司 找到 我 们 ， 说 它 想 进 入 分 析 
领域 。 我 们 曾经 帮助 这 家 公司 创建 了 它 的 第 一 套 营 销 模式 。 一 段 时 间 以 
后 ， 我 们 还 帮助 这 家 公司 完善 了 它 的 促销 和 和 营销 评价 技术 。 这 是 一 次 非 
常 成 功 的 合作 。 接 下 来 的 几 年 ， 这 家 公司 请 我 们 做 的 事情 也 越 来 越 多 。 

我 们 所 做 的 这 些 分 析 活 动 让 这 家 公司 的 业务 大 为 改观 。 公 司 员工 利 
用 分 析 结 果 可 以 识别 出 他 们 过 去 错误 估计 的 客户 群体 分 类 ， 以 及 含有 不 
恰当 的 信息 的 市 场 活 动 。 然 后 ， 他 们 解决 了 这 些 问 题 。 现 在 面 对 促销 效 
果 ， 他 们 可 以 形成 统一 的 观点 ， 而 不 是 像 以 前 那样 ， 有 几 个 部 门 就 有 几 














种 观点 。 观 点 统一 以 后 ， 为 向 哪些 地 方 投资 和 做 哪些 事情 达成 一 致意 见 
也 就 容易 多 了 。 我 们 再 也 听 不 到 财务 部 门 和 和 营销 部 门 的 争吵 声 了 了 。 通 过 
在 大 量 的 运营 文 撑 报表 和 分 析 中 加 入 客户 经 营 指标 ， 该 公司 更 容易 实现 
比 以往 更 加 关注 客户 业务 的 视图 。 

几 年 之 后 ， 这 个 客户 开始 扩张 自己 的 全 职 分 析 团 队 ， 并 做 出 承 话 ， 
会 长 期 、 持 续 地 在 分 析 领 域 投 资 。 虽 然 我 们 曾经 帮助 他 们 获得 了 初期 收 
荔 ， 并 证 实 了 分 析 的 价值 ， 但 相信 如 果 他 们 做 出 承 话 的 时 间 更 早 一 些 ， 
他 们 就 会 以 更 快 的 脚步 实现 更 多 的 收益 。 他 们 前 期 由 于 过 分 担心 从 哪里 
入 手 ， 将 整个 进程 拖延 了 相当 长 的 时 间 ， 结 果 没 有 实现 他 们 原本 能 够 获 
得 的 收益 。 


9.3 人 才 紧 缩 


在 我 们 要 组 建 和 发 展 分 析 团 队 时 ， 你 会 总 是 感觉 找 不 到 足够 多 的 优 
秀 人 才 。 公 司 发 展 需要 找到 一 些 第 8 章 中 所 讲 的 优秀 的 、 可 以 改变 游戏 
规则 的 分 析 专 家 ， 但 这 样 的 人 才 凤 毛 麟 角 。 虽 然 很 多 领域 都 缺乏 足够 多 
的 优秀 人 才 ， 但 这 种 现象 在 分 析 领 域 更 多 。 部 分 原因 是 因为 由 于 以 下 两 
件 事 情 。 原 因 之 一 是 对 分 析 专 家 的 需求 增长 得 太 快 。 书 籍 、 文 章 、 博 客 
都 在 讨论 这 种 高 速 增长 的 需求 ， 而 且 需 求 几 乎 无 处 不 在 《我 这 本 书 也 位 
列 其 中 ) 。 原 因 之 二 是 从 教育 体制 里 培养 的 分 析 人 才 数 量 一 直 都 相当 
少 。 局 等 教育 体制 正在 花 时 间 进 行 适应 和 调整 ， 扩 大 规模 培养 更 多 的 分 
析 型 人 才 。 

本 书 撰写 之 时 ， 尽 管 类 国 的 经 济 形 势 很 不 理想 ， 但 是 要 想 找 到 合适 
的 分 析 人 人才， 我 们 必须 和 其 他 公司 苋 搜 并 取得 成 功 才 行 。 想 要 招聘 到 优 
秀 的 分 析 专 家 ， 仅 仅 提 供 比 以 往 更 高 的 薪水 或 更 好 的 福利 竺 遇 已 经 不 足 
以 吸引 他 们 了 《尽管 这 些 事情 也 很 重要 ) 。 我 们 需要 保证 分 析 专 家 手头 
有 挑战 性 的 诬 题 ， 还 要 坚定 不 移 地 支持 他 们 。 分 析 专 家 到 岗 后 ， 不 管 他 



































们 的 薪水 是 多 少 ， 如 果 他 们 意识 到 投资 方 对 会 产生 影响 的 分 析 内 容 不 够 
重视 ， 他 们 就 会 辞职 。 分 析 专 家 肯定 和 其 他 人 一 样 ， 也 喜欢 高 薪 ， 但 他 
们 也 和 其 他 人 一 样 想得到 认可 ， 产 生 影 响 ， 并 有 机 会 提升 他 们 的 技能 。 


保持 说 虚 的 态度 
经 济 形势 不 好 往往 会 让 人 们 想当然 地 认为 每 个 人 部 很 渴望 工作 。 市 场 对 分 析 型 人 才 的 需求 导 
致 他 们 对 工作 没有 那么 渴望 。 如 果 我 们 也 想当然 地 这 么 认为 ， 以 为 他 们 可 以 随意 安置 ， 我 们 将 
留 不 住 这 些 人 才 。 经 济 下 行 时 ， 为 了 留 住 新 员工 而 给 他 们 涨 薪 会 很 困难 。 但 是 ， 如 果 我 们 想 留 
住 合适 的 人 ， 那 加 薪 只 是 很 低 的 成 本 ， 而 收益 却 会 很 大 。 









































即使 是 在 2009 年 至 2011 年 这 样 不 好 的 年 景 ， 分 析 专 家 也 能 找到 前 面 
所 说 的 职位 。HR 一 如 既往 地 四 处 张贴 用 人 需求 ， 圈 里 的 朋友 也 在 一 直 
讨论 他 们 听 说 的 新 工作 职位 。 在 20 世 纪 经 济 最 差 的 时 候 ， 企 业 依然 有 对 
分 析 专 家 的 需求 ， 分 析 专 家 仍然 能 看 到 招聘 信息 ， 负 责 招聘 的 HR 也 会 
不 断 地 联系 他 们 。 经 济 不 好 ， 公 司 政策 可 能 是 缩减 薪水 开 文 ， 不 会 任 由 
分 析 专 家 讨价还价 。 你 需要 接受 这 个 事实 ， 同 样 还 要 说 服 HR 部 门 ， 要 
想 招聘 到 合适 的 分 析 人 才 ， 就 得 适当 放宽 条 件 。 接 下 来 的 几 年 内 ， 需 求 
会 更 加 旺盛 ， 直 到 有 大 数据 经 验 和 技术 的 分 析 专 家 变 多 为 止 。 想 想 有 多 
少 新 的 大 数据 源 ， 又 有 多 少 用 来 处 理 大 数据 的 新 工具 ， 我 们 就 应 该 知道 
要 找到 具备 这 些 技能 的 人 才 会 有 多 难 。 


9.4 团队 组 织 结构 





分 析 人 员 要 怎样 分 配 ， 才 能 使 有 分 析 需 求 的 各 个 事业 部 既 能 得 到 他 
们 想 要 的 东西 ， 还 能 在 企业 层面 你 持 一 致 ?Tom Davenport 和 Jeanne 
Harris- 等 人 已 经 讨论 过 这 个 问题 了 。 下 面 我 将 会 讨论 主流 的 组 织 结 
构 类 型 ， 以 及 各 种 类 型 适用 的 时 间 、 工 作 方 式 等 。 请 注意 ， 类 似 的 架构 








也 可 以 在 公司 内 部 其 他 团队 中 使 用 ， 但 我 们 关心 的 还 是 如 何 应 用 到 分 析 
部 门 中 。 主 流 组 织 架构 有 3 类 : 分 布 式 、 集 中 式 和 混合 式 。 对 于 某 个 特 
定 的 组 织 ， 要 确定 哪个 才 是 最 佳 选择 是 很 困难 的 。 

就 在 最 近 ， 一 家 娱乐 行业 的 公司 决定 要 组 建 分 析 团 队 。 这 家 公司 有 
许多 以 独立 运营 实体 运作 的 部 门 。 因 为 很 多 部 门 都 是 收购 来 的 ， 这 些 部 
门 被 特意 保持 独立 ， 因 为 它们 的 工作 类 型 、 风 格 和 文化 都 不 尽 相同 。 

其 中 一 个 部 门 决 定 深 入 研 完 预测 分 析 。 就 在 该 部 门 决 定 开 始 的 时 
候 ， 上 级 部 门 出 现 了 一 个 问题 。 虽 然 上 级 部 门 认为 他 们 研究 预测 分 析 是 
很 棒 的 事情 ， 但 其 他 下 级 部 门 却 根本 没有 任何 兴趣 。 问 题 在 于 : 上 级 部 
门 是 不 是 应 该 放手 让 该 部 门 做 这 件 事 ， 然 后 要 求 其 他 部 门 也 采用 相同 的 
方法 ? 第 一 个 部 门 选择 的 方法 是 否 适用 于 其 他 部 门 ? 另外 ， 分 析 团 队 能 
个 提供 详尽 的 计划 ， 可 以 让 这 个 部 门 成 为 第 一 个 使 用 的 部 门 ? 其 他 部 门 
后 续 将 可 以 使 用 经 过 一 段 时 间 已 经 成 形 的 “官方 ”流程 。 

这 些 问题 没有 简单 的 答案 。 我 们 可 以 放手 让 茶 个 部 门 先 开 始 干 ， 并 
取得 一 些小 的 进展 。 如 果 其 他 部 门 也 有 和 需求， 这 时 公司 可 以 再 男 行 调整 
己 经 开 友 好 的 流程 。 也 可 以 从 整个 公司 的 层面 ， 先 铺垫 好 公共 事务 。 究 
竟 哪 种 选择 更 合适 ， 要 视 公 司 文化 和 公司 更 适应 哪 种 组 织 结构 而 定 。 上 
述 示例 讲 到 的 那 家 公司 的 做 法 是 取 中 庸 之 道 : 让 下 面 那个 部 门 来 领导 ， 
但 上 级 部 门 同 时 也 要 参与 到 研究 过 程 中 。 


9.4.1 分 布 式 组 织 结构 


在 分 布 式 结构 的 组 织 中 ， 分 析 人 员 要 通过 特定 的 职能 部 门 回 上 汇报 
工作 。 分 析 团 队 要 向 它 所 支持 的 组 织 汇报 工作 。 在 这 种 模型 中 ， 制 作 运 
营 分 析 报 表 的 分 析 专 家 要 通过 运营 团队 ， 癌 首席 运营 官 《COO) 汇报 工 
作 。 营 销 分 析 专 家 通过 营销 团队 ， 同 首席 营销 官 (CMO) 汇报 工作 。 
风险 分 析 专家 向 风险 管理 团队 汇报 工作 ， 等 等 。 
































这 种 配置 方案 的 优点 是 能 够 准确 地 把 分 析 专 家 放 在 需要 他 们 的 地 
方 。 他 们 可 以 沉浸 在 要 解决 的 问题 当中 ， 与 其 提供 业务 支持 的 商务 人 士 
待 在 一 起 。 公 司 初期 往往 愿意 及 用 这 种 模型 ， 因 为 肯定 会 有 部 门 第 一 个 
开始 分 析 工 作 。 这 时 ， 打 头 阵 的 业务 部 门 衣 定 会 首先 招聘 分 析 专 家 ， 目 
然而 然 地 ， 招 聘 到 的 人 员 要 回 本 部 门 汇报 工作 。 这 也 就 是 我 们 几乎 总 是 
从 这 种 分 布 式 的 、 关 注 职能 的 组 织 结构 开始 的 原因 。 刚 开始 ， 分 布 式 模 
型 很 简单 ， 小 型 分 析 团 队 只 需要 疝 一 个 业务 部 门 汇报 工作 。 

分 布 式 模型 的 一 个 缺点 是 分 机 人 员 最 后 会 届 布 在 公司 的 各 个 地 方 。 
虽然 他 们 的 技能 和 背景 很 相似 ， 但 却 并 不 属于 同一 个 部 门 。 他 们 之 间 可 
能 根本 没有 任何 正式 的 ， 或 者 临时 的 联络 ， 每 一 文 分 析 团 队 都 只 隶属 于 
目 己 的 职能 部 门 。 长 期 来 看 ， 这 并 不 是 理想 的 解决 方案 。 比 如 说 ， 遇 到 
紧急 情况 ， 一 个 团队 会 回 男 外 一 个 团队 借 人 人 救火， 即使 后 者 这 时 自己 也 
已经 在 超 负 答 运 转 了 。 

分 布 式 结构 的 团队 有 一 个 潜在 的 问题 ， 分 析 人 员 普 所 缺 少 职业 普 升 
通道 。 壁 如 说 一 个 公司 有 5 个 事业 部 ， 每 个 事业 部 里 有 三 四 名 分 析 人 
员 。 在 每 个 事业 部 里 ， 并 不 会 有 很 多 机 会 可 以 让 这 三 四 名 分 析 人 员 升 
职 。 他 们 顶 多 可 以 升 职 到 管理 三 四 个 人 而 已 。 即 使 这 样 ， 还 是 因为 目前 
的 老大 离职 造成 的 。 这 肯定 不 是 一 种 吸引 人 的 职业 发 展 道路 。 

在 这 个 例子 中 ， 该 公司 有 20 名 分 析 人 员 。 他 们 每 一 个 人 都 没有 太 多 
的 职业 流动 性 ， 大 部 分 人 也 没有 机 会 和 部 门 外 的 分 析 人 员 接 触 。 结 果 
是 ， 这 种 纯 分 布 式 的 结构 项 多 可 以 充当 分 析 组 织 刚 局 动 时 的 一 种 中 短期 
解决 方案 。 长 期 来 看 ， 组 织 结构 还 是 会 演化 成 一 种 集中 式 的 或 混合 式 的 
模型 。 

我 们 并 不 是 说 长 期 来 看 分 布 式 结构 的 团队 就 一 无 是 处 。 璧 如 说 在 航 
空 公司 中 ， 一 文 分 析 团 队 关 注 萤 收 管理 ， 而 只 一 文 团 队 关 注 客 户 昔 销 管 
理 。 两 文 团 队 押 需要 的 分 析 类 型 、 分 析 工 具 和 分 析 技 能 都 有 很 大 的 不 
同 ， 我 们 很 难 把 他 们 组 合 到 一 起 。 如 果 是 这 种 情况 ， 采 取 分 布 式 结构 的 















































团队 就 没有 错 。 但 是 ， 我 们 还 得 定期 审视 组 织 结构 类 型 ， 确 保 我 们 不 需 
要 做 出 结构 调整 。 


9.4.2 ”集中 式 组 织 结构 


在 纯粹 的 集中 式 组 织 结构 中 ， 组 织 结构 图 上 只 会 有 一 支 分 析 团 队 存 
在 。 这 文 团 队 会 文 撑 所 有 的 业务 部 门 和 他 们 的 分 析 需 求 。 集 中 式 团 队 的 
挑战 之 一 是 要 决定 把 分 析 团 队 放 在 哪个 地 方 。 有 的 集中 式 分 析 团 队 要 问 
站 席 财务 官 《CFO) 汇报 工作 ， 有 的 集中 式 分 析 团 队 要 加 COO 汇 报 工 
作 ， 还 有 的 要 向 首席 信息 官 (CIO) 汇报 工作 。 集 中 式 分 析 团 队 放 在 哪 
里 ， 并 没有 定论 ， 许 多 公司 的 作法 都 不 相同 。 

集中 式 团 队 的 一 个 优势 是 可 以 按 需 分 配 人 力 资 源 。 在 下 面 这 个 例子 
中 ， 公 司 运营 团队 有 3 名 分 析 人 员 ， 而 营销 团队 也 有 3 名 分 析 人 员 。 运 营 

个 缓慢 的 过 程 ， 一 般 情 况 下 不 会 有 太 多 分 析 工 作 要 做 ， 也 不 会 有 太 多 
的 预算 。 但 是 营销 的 分 析 工 作 量 就 很 大 ， 经 常 要 启动 新 项 目 。 在 一 个 纯 
粹 的 分 布 式 结构 中 ， 运 营 分 析 团 队 的 员工 不 能 转 过 来 帮助 营销 团队 。 在 
集中 式 结 构 中 ， 管 理 全 体 分 析 人 员 的 经 理 可 以 很 方便 地 调配 人 员 。 长 期 
来 看 ， 集 中 式 结构 有 助 于 减 绥 需求 变化 的 风险 。 

集中 式 组 织 结构 的 另 一 个 优势 是 可 以 给 分 析 人 才 提 供 机 会 获得 跨 部 
门 的 经 验 ， 可 以 接触 到 多 种 类 型 的 分 析 。 优 秀 的 分 析 专 家 如 果 10 年 都 做 
同样 的 事情 肯定 会 备 感 厌倦 。 但 是 ， 如 果 说 10 年 内 可 以 接触 到 不 同 的 业 
务 部 门 ， 学 习 很 多 新 方法 ， 过 到 许多 新 同事 ， 这 种 体验 就 会 相当 赞 。 集 
中 式 配 置 对 分 析 专 家 来 说 是 一 种 挑战 ， 可 以 提升 他 们 的 技能 。 这 时 这 种 
配置 对 于 分 析 专 家 和 公司 来 讲 是 双赢 。 


集中 ， 但 是 专注 
即使 公司 决心 全 面 采用 集中 式 分 析 团 队 组 织 结构 ， 资 源 分 配 还 是 得 重点 放 在 茶 些 事业 部 上 。 
如 果 配 合 业 务 部 门 工 作 的 分 析 专家 能 够 保持 稳定 状态 ， 那 将 有 助 于 分 析 专 家 更 好 地 从 事 分 析 工 










































































作 ， 他 们 会 觉得 越 来 越 舒 服 。 如 果 业 务 部 门 与 分 析 专 家 之 间 能 够 保持 一 种 稳定 的 关系 ， 那 就 会 
忽 











集中 式 团 队 的 缺点 是 ， 最 后 会 造 束 一 批 通才 ， 却 没有 人 可 以 深入 到 
特定 的 领域 。 经 过 一 段 时 间 ， 不 同 的 分 析 专 家 在 一 个 项 目 中 跳 进 跳出 ， 
这 将 对 业务 部 门 造 成 破坏 。 出 于 这 个 原因 ， 即 使 是 全 集中 式 的 团队 也 会 
安排 特定 的 员工 来 专门 协助 特定 的 事业 部 。 分 析 专 家 可 以 正式 地 疝 集中 
组 织 汇 报 工作 ， 但 实际 上 他 们 人 是 竺 在 被 指定 的 事业 部 的 。 从 日 闻 工 作 
的 角度 来 看 ， 这 些 分 析 专 家 或 多 或 少 都 会 被 看 成 该 团队 的 一 部 分 。 

集中 陈 分 析 团 队 因为 要 同业 务 部 门 提 供 服务 ， 而 经 党 家 原 部 门 黄 难 
要 求 成 本 回 扒 。 有 时 他 们 还 会 被 看 成 是 公司 的 负担 。 如 果 团 队 被 问 贡 要 
求 成 本 回 挫 ,我们 可 以 说 我 们 安排 了 合适 的 人 员 来 做 真正 重要 的 事情 ， 
站 在 这 样 的 角度 来 看 问题 可 能 会 更 容易 一 些 。 业 务 部 门 要 清楚 目 己 的 工 
作 重点 。 如 果 要 求 菜 个 业务 部 门 丛 分 析 项 目 出 资 ， 我们 就 更 难 获得 创新 
性 和 探索 性 的 分 析 。 理 想 的 做 法 是 在 公司 层面 拨 出 一 定 的 预算 来 开展 新 
的 和 创新 性 的 项 目 ， 而 不 是 由 业务 部 门 独立 出 资 。 使 用 这 样 的 预算 来 加 
驭 大 数据 是 一 个 很 好 的 目标 。 前 期 由 公司 出 资 ， 后 期 一 旦 大 数据 分 析 的 
价值 显现 出 来 ， 则 可 以 由 业务 部 门 继续 出 资 。 

不 要 低估 组 织 结构 规划 的 重要 性 ， 通 过 合理 的 规划 ， 我 们 就 能 得 到 
创新 性 的 分 析 。 要 求 茶 些 业务 部 门 动用 原本 紧张 的 预算 来 全 面 资助 创新 
性 工作 是 一 种 滥用 职权 的 做 法 。 新 的 分 析 项 目 应 该 在 更 高 级 别 上 被 投资 
和 文 持 ， 并 且 应 该 被 看 成 是 公司 的 一 项 战略 性 投资 。 

















9.4.3 ”混合 式 组 织 结构 








混合 式 组 织 结构 意 如 其 名 。 在 混合 式 组 织 结构 中 ， 既 有 集中 式 团 
队 ， 在 某 些 业务 部 门 中 又 有 专职 团队 。 这 种 组 织 结构 类 型 的 出 现 可 能 
多 种 原因 。 如 果 某 个 业务 部 门 一 直 领 导 着 分 析 项 目 ， 通 常会 导致 混合 式 








结构 团队 的 出 现 。 那 个 业务 部 门 可 能 已 经 组 建 了 一 文 可 靠 的 分 析 团 队 ， 
不 愿意 放弃 对 团队 的 控制 权 。 同 时 ， 其 他 部 门 也 开始 要 加 强 他 们 的 分 析 
工作 。 为 了 给 其 他 业务 部 门 提供 支持 ， 就 组 成 了 一 个 集中 式 的 团队 ， 但 
是 最 初 组 建 的 分 析 团 队 还 会 竺 在 原 业 务 部 门 。 

在 另 一 种 常见 的 混合 型 团队 模型 中 ， 存 在 一 个 核心 团队 ， 通 常 称 作 
晶 越 中 心 (Center ”of Excellence，COE) 或 者 专业 中 心 (Center of 
Expertise，COE) ，COE 的 分 析 专 家 要 负责 维护 企业 整体 视图 。 虽 然 大 
多 数 分 析 人 员 都 在 业务 部 门 里 ， 但 是 还 需要 一 个 中 间 人 ， 负 责 保证 业务 
部 门 之 间 使 用 的 方法 和 工具 一 致 。COE 团 队 关心 的 是 如 何 从 业务 部 门 分 
析 团 队 的 成 功 中 获得 经 验 与 知识 。 集 中 式 分 析 团 队 与 业务 部 门 分 析 团 队 
之 间 既 可 以 是 直接 的 / 正式 的 也 可 以 是 间接 的 / 非 正式 的 业务 汇报 关 
系 ， 这 要 视 公 司 环境 而 定 。 


不 要 纠结 于 组 织 结构 ， 我 们 要 关注 的 是 人 本 号 

我 们 要 强调 的 是 ， 最 重要 的 并 非 组 织 结构 ， 而 是 要 让 正确 的 人 出 于 正确 的 原因 执行 正确 的 
析 。 同 样 重要 的 是 ， 要 创造 一 种 公司 环境 ， 并 营造 一 种 企业 文化 ， 以 便 招 聘 、 培 养 和 留 住 合适 
的 分 析 人 才 。 
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9.5 ”持续 更 新 团队 技能 


分 析 团 队 和 其 他 团队 一 样 ， 也 有 不 同 级 别 的 成 员 ， 不 同 成 员 的 技能 
和 职责 可 能 完全 不 同 。 有 一 两 名 资深 的 高 级 管理 人 员 ， 也 有 一 批 刚 从 学 
校 毕 业 的 毛 头 小 伙 子 。 团 队 刚 开 始 组 建 时 ， 关 心 的 是 可 以 立竿见影 解决 
手头 问题 的 急需 技能 。 这 时 候 队 伍 没 有 那么 大 ， 还 不 能 较 好 地 完成 这 些 
工作 。 

但 随 独 团队 的 扩张 ， 我 们 就 需要 特意 地 引进 不 同 的 分 林 人 才 。 可 能 
公司 最 初 找到 的 人 有 很 深厚 的 数据 挖掘 背景 。 团 队 壮 大 以 后 ， 我 们 需要 

















有 很 强 优 化 背景 或 者 预测 分 析 背 景 的 人 。 随 独 各 种 分 析 背 景 的 分 析 专 家 
束 位 ， 他 们 为 我 们 提供 的 业务 增值 机 会 将 越 来 越 多 。 此 外 ， 随 着 团队 的 
不 断 成 长 ， 我 们 还 可 以 建立 不 同 的 职业 发 展 路 径 。 一 开始 招聘 到 的 员工 
都 是 相当 有 经 验 的 ， 因 为 他 们 必须 笔 上 自己 ， 几 乎 无 法 从 别人 那里 获得 什 
么 指导 。 随 看 团队 变 得 越 来 越 大 ， 我 们 可 以 招聘 一 些 经 验 较 少 的 人 ， 慢 
慢 来 培养 。 


9.5.1 矩阵 式 方法 


一 种 可 以 让 分 析 专 家 保持 敏锐 技能 的 方法 是 采用 上 所谓 的 “矩阵 式 " 方 
法 。 这 是 一 种 非 层级 化 的 团队 运作 方式 ， 其 运作 方式 如 下 ， 对 于 给 定 的 
项 目 ， 要 先 指 定 所 谓 的 分 析 组 长 。 分 析 组 长 有 几 项 关键 职责 。 第 一 ， 要 
负责 项 目 管理 。 幸 运 的 是 ， 多 数 分 析 项 目的 管理 工作 并 不 可 介 ， 组 长 要 
把 握 管 理 的 工作 量 。 第 二 ， 组 长 要 为 项 目 方向 负 贡 ， 制 定 分 析 计 划 ， 保 
证 团队 可 以 按时 交付 项 目 。 第 三 ， 也 是 最 重要 的 一 点 ， 组 长 是 分 析 结 果 
的 总 负责 人 ， 要 负 贡 和 解释 ， 负 贡 给 出 建议 ， 负 贡 编 复 各 种 所 需 的 交付 绪 
果 。 领 导 项 目的 分 析 组 长 通常 负责 管理 一 名 或 多 名 分 析 专 家 。 分 析 专 家 
们 在 组 长 的 领导 下 ， 开 展 日 党 的 项 目 工作 。 

我 们 的 组 织 并 非 一 定 得 有 一 个 项 痢 分 析 组 长 头衔 的 人 竺 在 项 目 上 。 
这 是 因为 项 目 组 长 本 喘 并 非 是 一 种 头衔 或 职级 ， 它 是 由 于 项 目的 需要 而 
自然 产生 的 。 比 方 说 一 个 团队 有 两 名 分 析 专 家 ， 分 别 是 Bob 和 Sue。A 项 
目 Sue 是 组 长 ，Bob 是 手下 。B 项 目 ，Bob 是 组 长 ，Sue 是 手下 。 每 个 项 目 
的 组 长 安排 要 根据 谁 最 适合 来 确定 ， 如 果 项 目的 重点 是 面 问 预 测 分 析 
的 ， 那 么 熟悉 预测 分 析 问 题 的 人 束 应 该 担任 组 长 。 


进入 和 矩阵! 
矩阵 式 方法 是 一 种 非常 棒 的 管理 分 析 团 队 的 方法 ， 可 以 提高 生产 率 ， 形 成 团队 凝聚 力 ， 并 使 
分 析 专 家 不 断 有 被 挑战 的 感觉 。 和 矩阵 法 可 以 使 关注 点 放 在 交付 结果 而 非 尖 衡 和 职位 上 ， 在 这 种 






















































































文化 下 ， 人 们 更 容易 获得 成 功 ， 每 个 人 关心 的 都 是 如 何 找到 正确 的 答案 ， 而 不 是 关心 到 底 是 谁 
找到 的 答案 。 











当然 ， 经 过 一 段 时 间 ， 最 强 的 和 最 资深 的 分 析 专 家 将 有 更 多 的 机 会 
成 为 组 长 。 同 样 地 ， 新 来 的 和 弱 一 些 的 分 析 人 员 会 更 多 地 作为 团队 成 
员 。 但 是 ， 这 种 作法 并 非 只 是 纯粹 地 论 资 排 坦 ， 和 矩阵 模式 巧妙 地 进行 了 
融合 。 这 束 是 使 用 和 矩阵 式 方法 来 运作 分 析 团 队 的 原因 。 和 窍 阵 式 组 织 结构 
中 ， 能 力 不 同 的 分 析 人 员 待 在 一 起 工作 ， 但 团队 的 紧密 程度 和 凝聚 力 会 
让 你 感到 惊讶 。 小 我 的 感觉 会 被 较 好 地 抑制 ， 因 为 所 有 的 团队 成 员 都 将 
时 不 时 地 在 同事 的 领导 下 工作 。 团 队 会 达到 真正 的 互相 信任 ， 会 了 解 团 
队 成 员 彼此 的 实力 。 他 们 还 会 积极 地 学 习 他 人 的 优点 ， 请 看 下 面 的 交叉 
培训 。 

交叉 培训 

不 管 分 析 团 队 的 组 织 结构 如 何 ， 最 重要 的 事 是 确保 分 析 专 家 之 间 能 
够 交叉 塔 训 。 如 果 有 人 是 编程 大 牛 ， 那 他 就 要 时 第 为 大 家 倾情 把 写 编程 
技巧 指南 ， 或 者 一 对 一 地 辅导 ， 甚 至 还 可 以 开 一 个 短期 学 习 班 。 这 样 ， 
团队 融会 一 直 保 持 增 长 势头 和 被 挑 成 的 感觉 。 最 好 的 方法 是 让 他 们 进入 
目 己 根本 不 了 解 的 分 析 领 域 ， 并 和 同事 一 起 做 项 目 。 这 样 ， 分 至 知识 的 
分 析 专 家 和 作为 学 生 的 分 析 人 员 都 会 有 所 收获 。 


9.5.2 ”管理 人 员 不 能 眼 高 手 低 


分 析 管 理 人 员 和 主管 也 要 杀 目 参与 分 机 ， 以 保持 他 们 的 技能 水 平 。 
不 管 从 事 何 种 工作 ， 人 们 都 讨厌 那 种 “ 假 大 空 ”， 虽 然 职位 高 高 在 上 ， 却 
并 不 了 解 如 何 做 事 的 人 。 有 时 候 ， 这 些 人 以 前 确实 了 解 很 多 东西 ， 但 随 
独 时间 流 逝 ， 他 们 逐渐 表 失 了 那些 技能 。 无 论 如 何 ， 这 种 人 都 会 被 认定 
为 眼下 做 不 了 太 多 事 儿 的 人 。 他 们 只 会 说 ， 不 会 做 。 




















与 普通 人 相 比 ， 分 析 专 家 对 这 些 事情 更 敏感 。 许 多 技术 领域 都 存在 
相同 的 问题 。 面 对 只 说 不 做 的 领导 ， 技 术 人 员 不 会 章 重 他 们 ， 他 们 只 会 
透 过 别人 的 屑 膀 ， 告 诉 别人 要 做 什么 ， 对 别人 的 工作 品 头 论 足 。 如 有 果 分 
析 专 家 感觉 管理 人 员 只 会 谈论 分 析 的 事情 ， 而 不 会 杀 目 操 刀 做 分 林 ， 那 
几乎 可 以 肯定 管理 人 员 将 无 法 得 到 分 析 专 家 的 尊重 。 但 我 们 并 不 是 说 ， 
如 末 定 理 人 员 在 每 个 领域 都 不 像 团 队 成 员 那 么 精通 ， 他 束 做 不 了 管理 
者 。 关 键 在 于 我 们 要 认识 到 自己 的 不 足 ， 相 信 团 队 可 以 比 自 己 研究 得 更 
深入 。 


管理 人 员 技 能 保鲜 法 ， 学 习 绝 地 武士 ! 

星球 大 战 系 列 中 尤 达 大 师 总 是 站 在 幕后 做 指挥 。 但 是 ， 有 需要 的 时 候 ， 大 师 也 能 赤膊 上 阵 ， 
一 起 战斗 。 同 样 地 ， 优 秀 的 分 析 管 理 人 员 可 能 并 不 需要 每 天 亲自 做 分 析 工 作 ， 但 有 需要 的 时 
候 ， 他 们 也 能 亲自 操 刀 做 出 最 好 的 分 析 。 如 果 员 工 心里 知道 团队 领导 也 可 以 亲自 动手 做 分 析 的 
话 ， 团 队 将 会 一 直 保 持 警 惕 的 心态 。 



















































































怎样 才能 使 技能 保鲜 ， 我 们 可 以 考虑 每 年 至 少将 各 位 分 析 管 理 人 员 
的 职 贡 变动 一 次 ， 让 他 们 可 以 深入 业务 ， 实 际 动手 去 做 分 析 工 作 。 这 是 
一 种 有 效 的 技能 保鲜 法 ,但 是 很 难 坚持 。 也 有 企业 愿意 采用 这 种 作法 。 
我 知道 有 一 家 连锁 饭店 要 求 它 的 所 有 员工 每 年 都 在 餐馆 里 工作 一 段 时 
间 ， 好 理解 一 线 发 生 的 事情 。 这 样 每 个 人 都 会 通过 实际 接触 来 获得 真实 
的 体验 ， 我 认识 的 那些 人 ， 他 们 都 党 得 这 种 每 年 一 次 的 实际 锻炼 非常 有 
意义 。 


9.6 ”应 该 由 谁 来 做 高 级 分 析 工 作 


有 一 个 话题 曾 反 复 不 断 地 在 分 析 疾 子 中 被 讨论 ， 假 如 说 软件 工具 可 
以 通过 用 户 友好 的 界面 来 执行 高 级 分 析 操 作 ， 那 我 们 应 不 应 该 让 那些 没 








有 经 过 分 析 训 练 的 人 来 自己 使 用 这 些 工具 进行 分 析 ? 这 个 话题 我 也 曾 在 
我 的 博客 -2 上 谈 起 过 。 

这 个 问题 背后 隐藏 的 意思 是 ， 许 多 人 都 认为 ， 拥 有 一 个 可 以 通过 界 
面 点 选 操作 随意 进行 导航 的 工具 ， 就 能 够 很 容易 地 实现 恰当 和 合理 地 使 
用 这 个 工具 。 如 第 6 章 所 述 ， 事 实 并 非 如 此 。 工 具 的 容易 使 用 并 不 表示 
我 们 就 可 以 正确 地 使 用 工具 。 事 实 上 ， 易 用 性 的 存在 让 我 们 更 容易 不 知 
不 觉 地 做 错 事情 。 壁 如 说 ， 使 用 通过 点 选 界面 生成 SQL 的 工具 可 以 很 随 
意 地 做 Join 操 作 。 虽 然 工具 可 以 正确 地 拼 谈 SQL 语法 ， 但 可 能 生成 的 语 
法 根本 没有 任何 实际 含义 。 

作为 一 家 企业 ， 我 们 要 确保 使 用 任何 工具 的 个 体 都 具备 适合 的 技 
能 、 经 验 和 观点 。 虽 然 分 析 工 具 可 以 蔡 我 们 节约 一 些 编程 时 间 ， 但 我 们 
自己 也 得 理解 所 生成 的 分 析 才 行 。 如 果 能 确保 新 手 可 以 提出 恰当 的 问 
题 ， 而 给 出 答案 的 数据 都 已 经 格式 正确 地 在 那里 等 着 分 析 ， 使 用 的 算法 
也 都 是 我 们 所 熟悉 的 ， 那 任何 人 都 能 成 功 。 在 拥有 所 有 完美 条 件 的 情况 
下 ， 那 可 真是 只 用 点 点 鼠标 就 行 了 。 但 是 ， 实 际 情况 是 ， 这 种 理想 状态 
永远 都 不 会 出 现 。 

关于 如 何 进行 分 析 和 建 模 我 们 已 经 讲 得 够 多 了 ， 这 个 过 程 远 远 不 是 
单纯 地 点 击 鼠 标 那 么 简单 。 我 们 的 预测 行为 正确 吗 ? 支撑 预测 结果 的 变 
量 集 是 不 是 最 好 的 ? 分 析 专 家 是 不 是 有 经 验 ， 是 否 知 道 事 情 是 什么 时 候 
开始 变味 的 ? 分 析 专 家 是 否 知 道 该 如 何 处 理 出 现 的 问题 ? 正如 第 7 章 所 
述 ， 根 本 不 存在 什么 “魔术 ”按钮 ， 点 一 下 就 可 以 进行 高 级 分 析 ! 

我 们 并 不 是 说 ， 没 有 接受 过 太 多 培训 或 技能 的 新 手 就 不 会 对 企业 产 
生 什么 价值 。 我 们 只 需要 确保 他 们 没有 做 超出 自己 能 力 范围 的 事情 ， 没 
有 接触 他 们 本 不 应 该 接触 的 领域 。 企 业 里 的 大 部 分 人 都 是 只 乐意 使 用 固 
定 的 模板 或 报表 ， 顶 多 还 会 那么 点 儿 基 础 即席 查询 。 更 重要 的 事情 应 该 
留 给 分 析 专 家 来 完成 。 正 规 分 析 团 队 应 该 主要 由 这 些 专家 构成 。 















































9.6.1 前 后 矛盾 的 地 方 


前 面 儿 市 的 描述 可 能 会 让 人 觉得 分 析 专 家 只 是 在 防守 ， 而 不 会 进 
攻 。 事 实 上 ， 这 些 观点 在 其 他 行业 里 已 经 被 人 们 广泛 地 接受 了 。 大 家 不 
理解 的 是 ， 分 析 领 域 并 不 遵循 其 他 领域 通用 的 逻辑 。 下 面 我 们 来 看 一 些 
示例 ， 这 些 例子 说 明了 为 什么 要 确保 由 正确 的 人 员 和 团队 来 进行 高 级 分 
析 工 作 。 

Jane 下 决心 不 干 分 析 工 作 了 ， 她 想 干 营销 部 门 的 策划 宣传 工作 。 她 
在 上 自己 的 机 器 上 安装 了 营销 部 门 使 用 的 现代 的 、 强 大 的 图 形 和 欠 容 生成 
工具 。 她 自己 花 了 好 几 个 小 时 来 练习 使 用 这 些 工 具 。 因 为 这 个 工具 只 需 
要 指向 和 点 击 就 能 编排 照片 、 图 片 和 文本 ,现在 她 可 以 轻松 地 创建 宣传 
手册 、 图 形 和 其 他 她 想 要 的 东西 。 她 走 到 和 营销 部 门 说 : “我 已 经 在 计算 
机 上 安 逆 了 你 们 部 门 所 需要 的 所 有 软件 ， 我 也 在 线 学 习 了 所 有 现 有 的 堪 
训 。 我 想 加 入 你 们 团队 ， 硕 助 你 们 做 直 邮 人 信件、 杂志 广 告 和 产品 手册 。 
我 可 以 来 这 里 工作 吗 ? ”ane 肯 定 会 被 人 类 抒 大 政 的。 创作 优秀 的 营销 
稿件 绝 不 仅仅 是 在 工具 中 点 点 鼠标 那么 简单 。 

John 决 心 要 去 公司 的 CFO 团 队 做 事 ， 想 帮助 处 理 月 底 的 财务 月 结 事 
务 。 他 很 清楚 公司 用 的 是 什么 财务 软件 。 和 Jane 一 样 ， 他 参加 了 大 量 的 
软件 培训 。 他 径直 走 到 财务 部 门 说 : “我 可 以 帮 咱 们 部 门 完成 每 个 月 的 
月 结 项 目 。 虽 然 我 没有 任何 财务 和 会 计 的 背景 知识 ， 但 是 我 学 完了 内 部 
财务 软件 包 中 的 所 有 课程 。 我 知道 月 结 过 程 中 每 一 步 要 执行 哪些 沫 单 
项 ， 我 什么 时 候 能 开始 工作 呢 ? ?你 认为 John 能 得 到 这 份 工作 吗 ? 

最 后 一 个 例子 ，Joe 的 邻 大 栽 了 一 标 大 树 ， 但 他 要 把 树 砍 挥 ， 因 为 树 
己 经 快 死 了 。 他 问 Joe 可 以 推荐 什么 服务 ，Joe 回 答 说 :“ 你 不 需要 这 方面 
的 服务 。 我 刚 买 了 一 个 非常 棒 的 电 饮 ， 我 已 经 把 手册 一 页 一 页 地 读 过 
了 ， 电 锯 也 已 经 开 齿 了， 随时 可 以 使 用 。 我 束 能 为 你 提供 服务 ， 咀 们 一 
起 来 把 树 砍 挥 吧 ! ”邻居 会 考虑 这 种 愚 磊 的 建议 吗 ? 




















别 光 想 走 轻 轻 松 松 的 路 

让 新 手 来 做 营销 活动 彩 页 、 账 单 月 结 ， 或 者 帮 邻 居 锯 树 ， 听 到 这 些 多 数 人 都 会 哑 然 失 笑 。 屠 
为 什么 我 们 还 要 相信 ， 一 个 缺乏 任何 相关 经 验 的 人 ， 只 是 接受 过 一 点 儿 分 析 工具 的 培训 就 能 做 
出 准确 的 、 高 质量 的 分 析 ? 千 万 别 挤 到 这 种 陷阱 里 。 



















































































如 果 要 组 建 优 秀 的 分 析 团 队 ， 我 们 必须 牢记 ， 高 效 实用 的 分 析 源 目 
科学 和 艺术 。 怠 像 伟 大 的 艺术 家 头 一 次 搞 创 作 男 不 出 优秀 的 作品 一 样 ， 
优 郁 的 分 析 专 家 也 不 是 一 践 而 就 的 ， 他 们 也 需要 实践 和 经 验 。 束 像 其 他 
行业 一 样 ， 大 量 的 复 淋 性 和 细 市 往往 并 不 明显 ， 对 该 领域 不 熟悉 有 的 人 们 
往往 很 难 辩 识 出 这 些 信息 。 正 如 我 们 不 会 选择 让 没有 合适 技能 、 培 训 和 
经 验 的 人 来 做 事 一 样 ， 我 们 也 不 应 该 让 同样 缺乏 技能 、 培 训 和 经 验 的 人 
来 做 高 级 分 析 工 作 。 我 们 要 找到 第 8 章 中 所 描述 的 那些 具备 分 析 所 需 特 
质 的 分 析 专 家 ， 组 建 我 们 的 分 析 团 队 ， 而 不 是 从 其 他 部 门 找 些 人 给 个 职 
务 和 头衔 束 来 干 这 些 事情 。 


9.6.2 ”如 何 帮 助 刚 刚 从 事 分 析 工 作 的 新 手 落 壮 成 长 


我 们 现在 转向 一 种 更 积极 的 角度 。 许 多 人 都 想 做 高 级 分 析 工 作 ， 我 
们 假定 营销 部 的 Barb 束 是 其 中 一 员 ， 她 已 经 做 好 准备 要 接手 主持 业务 部 
门 的 分 析 工 作 。 她 想 启 个 先 手 ， 分 析 团 队 纷 纷 表示 文 持 Barb， 愿 意 帮 助 
她 实现 目标 。 答 案 并 非 只 是 把 软件 装 到 她 的 计算 机 里 ， 再 让 她 目 己 把 分 
析 茎 换 出 来 那么 简单 。 

我 们 需要 回 到 刚才 讲 过 的 内 容 ， 友 好 的 分 析 工 具 可 以 提升 我 们 的 生 
产 力 。 我 在 前 面 曾经 说 过 ， 反 对 让 不 知道 自己 在 干 啉 的 那些 人 使 用 分 析 
工具 ， 并 不 是 说 为 了 保护 分 析 专 家 的 工作 ， 也 不 是 要 拒绝 使 用 新 技术 。 
如 果 说 我 们 的 顾虑 是 保护 分 析 专 家 的 工作 ， 人 和 人们 肯定 会 在 讨论 区 里 灌水 
反对 用 户 界 面 友好 的 分 析 工 具 ， 而 不 只 是 反对 让 错误 的 人 员 来 使 用 这 些 
es 














眼界 有 限 的 人 会 争辩 说 ， 如 条 有 一 个 10 个 人 组 成 的 分 析 小 组 ， 提 高 
效率 的 工具 可 以 把 分 析 时 间 减 少 至 原先 的 一 半 ， 这 意味 看 小 组 中 一 半 的 
人 都 要 被 解雇 掉 。 我 认为 任何 这 么 想 的 人 都 应 该 离开 分 析 团 队 ， 因 为 他 
们 不 可 能 成 为 优秀 的 分 析 专 家 。 正 确 的 看 法 是 10 个 人 已 经 通过 他 们 的 工 
作证 明了 上 自己 的 存在 价值 。 如 果 他 们 突然 把 手头 的 工作 用 一 半 时 间 完 成 
了 ， 这 说 明 他 们 现在 义 有 一 半 时 间 可 以 解决 新 的 问题 ， 并 产生 新 的 价 
值 。 现 代 化 的 、 用 户 友 好 的 工具 只 会 进一步 证 明 分 析 专 家 存在 的 价值 ， 
可 以 帮助 他 们 提升 技能 ， 提 供给 他 们 更 多 的 挑战 机 会 。 这 是 一 种 通 启 的 
做 法 。 


每 个 人 部 要 做 到 最 好 
没有 分 析 能 力 的 业务 人 员 虽 然 需要 分 析 的 结果 ， 但 他 们 不 必 杀 自动 手 。 分 析 团 队 的 存在 是 要 
让 业务 人 员 来 推动 分 析 工 作 。 业 务 人 员 应 该 把 时 间 花 到 如 何 从 上 游 体现 分 析 的 价值 ， 并 利用 分 
析 结 果 改 进 他 们 的 业务 管理 流程 。 如 果 分 析 团 队 能 够 做 到 最 好 ， 业 务 团队 也 一 定 能 做 到 最 好 ， 
这 样 就 能 产生 双赢 的 局 面 。 







































































希望 你 已 经 相信 ， 用 户 界 面 友好 的 分 析 技 术 本 里 并 不 是 什么 坏事 。 
我 们 应 该 怎样 使 用 这 些 技术 呢 ? 关键 在 于 要 设法 让 Barb 达 成 所 愿 。 这 并 
不 是 次 要 让 Barb 目 己 动 手 去 做 脏 活 味 活 。 分 析 团 队 应 该 和 Barb 建 立 起 合 
作 伙伴 关系 ， 帮 助 Barb 得 到 她 想 要 的 分 析 结 果 ， 让 她 能 运行 报表 ， 该 报 
表 是 分 析 团 队 为 她 做 出 来 的 模型 效果 的 汇总 。Barb 的 客户 关系 管理 
(CRM) 套件 应 该 体现 出 以 客户 为 中 心 的 分 析 结 果 。 同 时 ， 分 析 结 宁 
应 该 供 公司 内 部 任何 可 以 从 中 获 普 的 应 用 使 用 。Barb 还 可 以 借助 工具 使 
用 分 析 团 队 为 她 开发 出 来 的 分 析 功 能 。 她 可 能 目 己 都 不 想 杀 上 自 多 做 这 些 
脏 活 宗 活 。 


9.7 IT 人 员 和 分 析 专 家 为 何 相处 不 好 


在 组 建 分 析 团 队 时 ， 我 们 要 面 对 的 一 个 大 问题 是 分 析 专 家 和 IT 人 员 
之 间 的 斗争 。 在 许多 公司 里 ，IT 人 员 和 分 析 专 家 之 间 长 期 存在 敌意 。 不 
管 你 信人 不 信 ， 以 往 这 种 紧张 关系 是 有 其 符合 逻辑 的 理由 的 。 要 想 理 解 其 
中 的 原由 ， 让 我 们 先 来 一 起 看 一 看 IT 人 员 和 分 析 专 家 在 公司 里 分 别 承担 
的 角色 吧 ! 

如 表 9-1 所 示 ， 分 析 专 家 入 职 后 需要 完成 紧迫 的 工作 ， 对 公司 的 业务 
数据 进行 创新 。 分 析 专 家 需要 了 解 新 事物 ， 并 且 有 突破 性 的 想法 。 但 是 
IT 人 员 的 职责 是 要 保证 公司 系统 的 正常 运转 ， 每 个 人 都 可 以 完成 份 内 的 
工作 。IT 部 门 要 保证 资源 配置 合理 ， 并 让 所 有 的 事情 都 在 掌控 之 下 。 

表 9-1 分 析 专 家 和 IT 人 员 的 角色 

















分 析 团 队 要 做 的 事情 IT 团队 要 做 的 事情 
大 量 使 用 系统 资源 严格 管理 系统 资源 的 使 用 
创建 表格 并 使 用 大 最 的 空间 限制 创建 表格 和 空间 的 使 用 
运行 复杂 的 即席 查询 使 复杂 的 即席 查询 保持 在 最 低 水 了 
打破 汕 规 让 用 户 守 规 和 矩 
使 用 新 方法 做 试验 | 坚持 使 用 正式 批准 的 方法 
在 规章 和 约束 下 工作 执行 规章 和 约束 























IT 人 员 会 和 分 析 人 员 发 生 冲 突 ， 部 分 原因 是 因为 这 两 个 群体 的 目标 
是 有 本 质 冲 突 的 。 同 一 家 公司 聘用 他 们 ， 但 要 他 们 做 的 事情 却 有 优先 级 
冲突 ! 一 个 团队 的 工作 是 锁定 数据 、 控 制 数据 、 控 制 资源 的 使 用 。 男 一 
个 团队 的 工作 是 探索 数据 ， 在 分 析 流 程 中 使 用 资源 ， 做 出 与 众 不 同 的 事 
情 。 这 样 都 不 起 冲突 几乎 是 不 可 能 的 事情 。 

更 糟 的 是 分 析 专 家 一 般 同业 务 部 门 汇 报 ， 而 I 开 人 员 同 CIO 汇 报 。CEO 
直接 管辖 两 个 团队 ， 需 要 确保 他 们 能 融洽 地 协作 。 极 少 出 现 两 个 C 级 别 
的 高 管 去 找 CEO， 要 求 CEO 来 解决 两 个 团队 的 争端 的 情况 。 








IT 人 员 和 分 析 专 家 必须 签署 和 平 条 约 
让 IT 人 员 和 分 析 专 家 心平 气 和 地 坐 在 一 起 ， 就 他 们 的 协作 方式 达成 一 致 ， 这 对 我 们 来 说 很 重 
要 。 两 个 团队 和 平 共 处 ， 甚 至 彼此 帮助 共同 发 展 ， 以 现在 的 技术 完全 可 以 做 到 。 最 难 的 是 让 大 























家 握 弃 以 往 的 历史 偏见 ， 否 则 我 们 就 会 积 重 难 返 。 我 们 要 努力 争取 ， 否 则 就 很 难 组 建 我 们 理 ? 
中 的 分 析 团 队 。 























结果 是 ， 分 析 专 家 往往 会 被 IT 人 员 看 成 是 牛仔 一 样 的 人 ， 目 己 建 设 
目 己 的 IT 环境 ， 不 齐 守 任何 规章 制度 。 同 样 地 ，IT 人 员 往 往 会 被 分 析 专 
家 看 成 是 一 群 有 控制 欲 的 怪 胎 ， 只 会 控制 进度 ， 设 置 障碍 。 

好 消息 是 以 往 引 起 政 意 的 很 多 事 现在 已 经 不 再 是 什么 问题 了 。 我 们 
己 经 在 第 4 蔓 和 第 5 章 里 讨论 过 了 沙 箱 、 库 内 分 析 以 及 数据 分 析 环 境 的 融 
合 。 有 了 这 些 方面 的 进步 ， 以 往 IT 人 员 和 分 析 专 家 之 间 的 隔 因 就 可 以 轻 
松 克 服 了 。 如 果 公 司 要 组 建 优秀 的 分 析 团 队 ， 破 除 隔 图 是 非常 重要 的 。 

分 析 专 家 很 难 承 认 的 一 件 事情 就 是 他 们 自己 也 想 和 IT 人 员 达 成 协 
议 。 他 们 根本 不 想 自 己 管理 一 套 独立 的 系统 ， 除 非 他 们 觉得 非 要 这 样 做 
不 可 。 为 什么 ”因为 优秀 的 分 析 专 家 非常 愿意 译 受 自己 的 工作 ! 下 面 我 
们 就 来 探究 一 下 。 

如 末 分 析 团 队 自 己 有 一 套 分 析 环 境 需 要 维护 ， 那 团队 里 束 得 有 系统 
管理 员 、 生 产 调度 员 等 角色 。 分 析 专 家 每 周 都 要 运行 全 新 的 分 析 流 程 。 
你 猜 事 情 会 怎样 ? 他 上 自己 又 要 维护 系统 ， 还 得 监控 系统 的 运行 ， 他 还 得 
目 己 弄 清 楚 怎 样 处 理 数 据 加 载 的 变化 ， 或 者 其 他 系统 对 这 个 过 程 产 生 了 
何 种 影响 。 

分 析 专 家 目 己 肯定 不 想 做 这 些 事 情 。 更 糟 的 是 ， 如 果 分 析 专 家 上 自己 
建设 了 四 五 个 ， 其 至 六 个 分 析 流 程 ， 他 们 很 快 就 会 被 这 些 维护 工作 弄 得 
筋疲力尽 。 他 不 会 再 有 时 间 去 做 新 分 析 ! 这 是 最 坏 的 结果 。 优 务 的 分 析 
专家 乐于 将 系统 管理 、 调 度 、 备 份 这 些 事情 交 给 IT 人 员 来 做 。IT 部 门 忌 
会 有 人 因为 生计 、 乐 趣 或 者 精通 此 道 而 愿意 来 做 这 些 事 情 的 。 采 用 这 样 
的 分 配 可 以 提高 效率 ， 大 家 也 都 会 更 高 兴 。 分 析 团 队 的 时 间 也 被 大 大 释 
放 了 出 来 ， 而 不 是 天 天 想 着 怎样 让 流程 跑 下 去 。 









































9.8 本章 小 结 


以 下 是 本 章 的 重点 内 容 。 

四 ”不 要 把 时 间 都 浪费 在 无 休止 的 组 织 结构 讨论 上 ， 先 迈 出 招聘 的 第 
一 步 ， 找 到 优秀 的 分 析 专 家 来 解决 该 解决 的 问题 。 

四 ”招聘 要 有 选择 性 。 成 功 更 多 徘 的 是 组 成 分 析 团 队 的 个 体 ， 而 不 是 
团队 的 组 织 结构 。 

四 ”市场 上 优秀 的 分 析 人 员 本 来 就 不 足 。 我 们 要 做 好 准备 ， 变 得 比 以 
往 更 有 侵略 性 ， 吸 引 合适 的 团队 成 员 来 加 盟 我 们 的 团队 。 

四 ”大 多 数组 织 先 从 分 布 式 的 、 职 能 型 的 分 析 团 队 组 织 开 始 。 时 间 长 
了 以 后 ， 可 以 转化 成 集中 式 的 或 者 混合 式 的 组 织 结 构 。 

四 ”公司 如 非 正式 颁布 法 令 ， 也 应 该 减 励 分 析 团 队 之 间 跨 领域 交叉 培 
训 ， 要 有 意识 地 扩充 上 自己 的 知识 技能 。 

四 ”可 以 考虑 及 用 和 矩阵 式 结构 来 做 分 析 项 目 。 和 矩阵 式 结构 要 有 一 个 强 
有 力 的 领导 来 监管 每 个 项 目 成 员 的 工作 。 

四 ”分 析 管 理 人 员 要 保持 自己 的 技能 ， 要 能 像 星 球 大 战 里 的 尤 达 大 师 
那样 ， 既 可 以 杀 目 战斗 ， 又 可 以 管理 团队 。 

四 易 用 的 工具 本 身 并 没有 魔力 ， 也 不 可 能 让 没有 分 析 经 验 的 人 做 出 
优质 分 析 。 相 反 ， 工 具 的 存在 让 那些 没有 分 析 经 验 的 人 更 容易 犯错 。 

四 ”分 析 团 队 要 支持 业务 合作 伙伴 ， 让 他 们 在 分 析 结 果 的 帮助 下 取得 
成 功 。 分 析 专 家 要 做 实际 的 工作 ， 让 业务 部 门 使 用 分 析 结 果 变 得 更 容 
易 。 

四 ”分析 团 队 和 IT 部 门 要 达成 协议 。 没 有 人 可 以 从 关系 失调 中 获 苍 ， 
特别 是 两 类 团队 都 需 要 提供 支持 的 业务 合作 部 门 。 

注释 


(1) Tom Davenport 和 Jeanne Harris，Organizing Analysts， 国 际 分 析 协 会 ， 网 络 研 讨 会 内 























容 纲要 ，2009 年 6 月 23 日 。 


(2) ”博客 地 址 是 : http://iianalytics.com/category/factulty-blogs/bill-franks/。 








第 站 部 分 
整合 : 分 析 文化 


第 10 章 
促进 分 析 创 新 


什么 是 创新 ?根据 MerriamWebster 的 观点 ， 创 新 是 : 

1.“ 引 入 新 事物 ”，; 

2. “新 想法 、 方 法 或 设备 ”"。- 

对 创新 的 正式 定义 使 我 感到 失望 ， 因 为 它 没 有 摘 述 创新 在 商业 领域 
以 及 在 现实 世界 中 能 做 些 什 么 。 如 果 没 有 创新 ， 我 们 现在 仍 将 生活 在 石 
器 时 代 ， 因 为 只 有 创新 才 可 以 引发 变革 和 进步 。 不 幸 的 是 ， 在 今天 的 商 
业 环 境 下 ， 人 们 并 不 总 能 够 给 予 创新 足够 的 重视 。 

在 商业 领域 ， 简 单 地 跟随 竞争 对 手 的 步伐 很 少 能 够 获得 成 功 。 创 新 
是 通 回 成 功 的 一 把 钥匙 。 如 果 一 个 企业 坐视 其 竞争 对 手 开 始 使 用 大 数 
据 ， 那 将 会 出 现 严 重 的 问题 。 当 一 个 不 打算 使 用 大 数据 的 企业 ， 因 为 苋 
争 对 手 在 这 方面 十 分 努力 并 花费 了 大 量 成 本 而 沾沾自喜 时 ， 问 题 尤 为 严 
重 。 也 许 当 企业 听 说 竞争 对 手 已 经 能 够 处 理 大 数据 时 ， 它 们 才 会 有 足够 
的 动力 去 做 同样 的 事情 。 这 是 在 玩 人 简单 的 奶 赶 游戏 。 行 业 领 导 者 的 努力 
都 花费 在 获得 竞争 优势 上 ， 而 行业 追随 者 的 努力 都 花费 在 追赶 领导 者 
上 。 这 不 是 获得 胜利 的 准则 。 

本 章 我 们 将 回顾 创新 背后 的 一 些 基本 原则 。 人 然后， 我 们 将 通过 分 析 
创新 中 心 的 概念 ， 把 创新 应 用 在 大 数据 和 分 析 中 。 本 章 的 目的 是 为 读者 
提供 一 些 实际 的 想法 ， 主 要 关于 如 何在 企业 中 更 好 地 从 事 分 析 创 新 工作 
和 敬 驯 大 数据 。 


10.1 商业 需要 更 多 创新 


从 2008 年 至 2011 和 年， 经济 开 始 恶 化 ， 许 多 公司 处 在 “生存 模式 ”的 状 











态 。 不 直接 关系 到 本 月 、 本 季度 、 本 年 度 生 存 的 任何 事情 都 被 摆 到 了 不 
重要 的 位 置 。 而 实际 情况 是 ， 即 便 是 在 有 发展 较 好 的 时 候 ， 也 很 少 有 企业 
会 给 予 创 新 足够 的 重视 。 具 有 讽刺 意味 的 是 ， 超 越 竞 争 对 手 的 最 佳 时 机 
之 一 恰恰 是 在 光景 不 好 的 时 候 。 妆 苋 争 对 手 在 勉强 文 撑 时 ， 别 的 公司 可 
以 在 创新 方面 进行 投资 并 超越 其 竞争 对 手 。 在 光景 不 好 的 时 候 ， 现 状 无 
法 让 任何 人 感到 满足 。 有 时 这 会 成 为 企业 最 终 答 试 新 想法 的 动力 。 坐 等 
老 办 法 继续 获得 成 功 已 经 变 得 不 可 能 ， 必 须要 尝试 一 些 新 东西 ， 所 以 为 
什么 不 能 有 创意 一 点 呢 ? 

如 打 没 有 源源 不 断 的 新 想法 、 新 产品 、 新 服务 ， 公 司 将 缺乏 长 期 的 
苋 争 能 力 。 这 个 观点 被 证 明 是 正确 的 ， 在 全 球 一 体 化 、 快 速 友 展 的 今天 
尤为 正确 。 创 新 是 生存 的 钥 是 ， 分 析 和 数据 领域 的 创新 尤其 值得 关注 。 
企业 应 该 如 何 使 用 分 析 来 识别 可 用 的 模式 ， 以 及 这 些 分 析 如 何 发 挥 作 
用 ? 分 析 永 远 是 企业 获得 竞争 优势 的 重要 工具 。 第 一 个 驾驭 大 数据 ， 并 
能 够 最 好 地 驾驭 大 数据 ， 对 大 数据 进行 了 全 新 的 、 具 有 较 高 影 啊 力 的 分 
析 研 完 的 那些 企业 将 在 竞争 中 获得 真正 的 领导 地 位 。 

开发 消费 产品 的 公司 都 有 产品 实验 室 ， 目 的 是 为 市 场 提供 新 的 创新 
产品 。 拥 有 主要 进行 数据 创新 和 分 析 的 实验 室 也 很 重要 。 因 为 大 数据 还 
征 一 个 新 兴 的 概念 ， 所 以 绝 大 多 数 公司 在 大 数据 分 析 领 域 几乎 没有 任何 
吕 昧 。 但 是 从 分 析 的 角度 来 看 ， 就 像 我 们 在 第 1 章 中 提 到 的 那样 ， 与 在 
时 间 推 移 过 程 中 形成 的 其 他 可 怕 数 据 源 相 比 ， 大 数据 与 其 并 没有 太 大 差 
别 。 现 在 ， 企 业 应 该 开始 学 习 如 何 驾 驭 大 数据 。 


从 事 分 析 创 新 需要 付出 努力 
你 在 企业 中 如 何 进行 分 析 创 新 ? 这 需要 团结 一 致 的 、 全 身心 的 努力 。 分 析 创新 中 的 投入 与 产 
品 和 服务 创新 中 的 投入 应 该 获得 相同 的 重视 程度 。 分 析 应 当 视 为 商业 的 支柱 ， 而 不 是 可 选 的 附 
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可 以 访问 的 、 新 的 、 庞 大 的 数据 源 变 得 越 来 越 多 ， 没 有 人 能 够 退 赶 
上 这 些 数据 源 的 增加 速度 。 也 许 只 有 少数 工作 在 特定 行业 的 分 析 专 家 才 
能 够 或 多 或 少 地 了 解 这 些 新 数据 源 。 实 际 上 ， 还 有 一 些 新 的 数据 源 已 经 
蓄 势 待 及 ， 只 是 还 没有 开始 被 收集 。 问 题 是 ， 大 数据 的 许多 特性 都 太 新 
了 ， 还 无 法 被 充分 地 理解 和 获 驶 。 但 很 快 整 会 有 人 弄 清 楚 它 们 了 。 随 之 
而 来 的 问题 是 ， 哪 些 企业 将 成 为 行业 领导 者 ， 哪 些 企业 将 成 为 退 随 者 ? 
更 重要 的 是 ， 你 的 公司 将 做 出 何 种 选择 ? 


10.2 ”传统 的 方法 阻碍 了 创新 


今天 的 企业 ， 特 别 是 比较 大 的 企业 ， 往 往 都 有 内 在 的 官 价 主义 文 
化 。 宣 傣 主 义 的 大 部 分 内 容 是 长 期 形成 的 关于 企业 如 何 做 事 、 如 何不 做 
事 的 方针 和 政策 。 如 果 想 做 一 些 新 的 党 试 ， 过 程 往往 很 耗 时 、 很 痛 舌 。 
创新 性 地 使 用 数据 和 分 析 时 尤其 如 此 ， 因 为 许多 人 还 不 习惯 使 用 分 析 。 
所 有 的 这 一 切 痢 阻碍 了 创新 。 

如 果 企 业 想 要 调 碍 一 个 新 想法 是 否 可 行 ， 这 个 过 程 通常 会 拖 得 很 
和 久 。 充 分 地 论证 项 目 需要 花费 很 多 时 间 ， 进 一 步 实 现 该 想法 需要 人 花费 更 
多 的 时 间 。 这 有 是 一 个 漫长 的 、 不 愿意 承担 风险 的 、 极 其 间 规 的 过 程 。 这 
样 的 过 程 会 涉及 很 多 文件 。 如 果 一 个 人 想 着 手 研究 大 数据 源 ， 他 需要 所 
供 以 下 材料 : 商业 和 案例、 项目 计划 、 财 务 预 测 、 人 员 配 备 计 划 、 分 析 计 
划 、 应 急 计划 、 风 险 评估 。 也 许 还 需要 提供 其 他 材料 ! 

不 过 ， 如 果 你 想 做 一 些 创新 的 事情 ， 你 应 该 不 会 了 解 得 太 多 ， 因 此 
不 能 很 自信 地 给 出 通常 要 求 的 所 有 文件 和 数字 。 如 末 一 种 可 以 推动 新 分 
析 的 不 同 的 数据 使 用 方式 能 够 税 充 分 地 理解 ， 那 么 这 个 想法 就 不 可 能 是 
创新 的 。 如 果 不 在 标准 化 的 过 程 之 外 另外 建立 一 种 机 制 ， 那 么 想 使 分 析 
创新 的 项 目 获得 批准 将 会 非常 困难 。 

最 主要 的 障碍 是 ， 没 法 说 服 所 有 人 你 的 想法 是 没有 风险 的 。 但 坚 无 

















疑问 ， 你 的 想法 确实 是 有 风险 的 。 这 才 是 重点 ! 分 析 创 新 项 目 不 可 能 没 
有 风险 。 按 照 传 统 的 、 标 准 化 的 批准 流程 ， 新 想法 可 能 都 会 被 否决 。 随 
着 时 间 的 推移 ， 提 出 超前 想法 但 总 是 被 否决 的 员工 要 么 离开 公司 ， 要 么 
不 再 尝试 新 想法 。 如 果 企 业 不 能 在 标准 化 的 、 无 风险 的 审批 流程 之 外 所 
供 男 一 种 审批 流程 ， 那 么 它 将 难以 在 分 析 领 域 进行 创新 。 


创新 需要 冒险 

使 用 大 数据 进行 新 的 分 析 创新 不 可 能 没有 风险 。 想 让 人 们 接受 一 种 无 法 理解 的 新 想法 是 一 个 
很 大 的 挑战 。 大 数据 源 将 无 法 被 理解 ， 在 开始 时 不 可 能 彻底 地 搞 明 白 大 数据 的 使 用 方式 。 但 
是 ， 这 并 不 意味 着 不 值得 冒险 去 搞 明白 它 。 























































































































想象 一 下 ， 在 公司 中 ， 分 析 项 目 组 在 会 议 上 向 公司 主管 提出 了 一 个 
新 想法 。 他 们 讨论 了 一 种 以 前 从 来 没有 航 收 集 过 的 、 新 的 大 数据 源 ， 并 
表示 希望 开始 收集 数据 。 分 析 项 目 组 不 确定 大 数据 里 面 有 什么 ， 他 们 甚 
至 不 确定 公司 该 如 何 使 用 这 些 大 数据 ， 但 是 他 们 有 很 多 想法 可 以 去 等 
试 。 他 们 坚信 ， 只 要 他 们 获得 了 数据 ， 分 析 并 理解 了 其 中 的 有 用 信息 ， 
他 们 就 能 获得 许多 有 价值 的 信息 。 经 过 一 番 努 力 ， 从 哪里 得 到 有 价值 的 
言 奶 将 会 变 得 清晰 。 项 目 组 需要 用 努力 和 计划 来 使 公司 主管 同意 对 这 些 
数据 分 析 的 投入 。 有 没有 别 的 办 法 能 使 这 个 过 程 更 容易 一 些 ? 当然 有 ， 
下 面 我 们 来 看 几 个 例子 。 


10.3 定义 分 析 创 新 


我 们 把 分 析 创 新 定义 为 一 种 全 新 的 、 独 一 无 二 的 、 不 限定 类 型 的 分 
析 方 法 。 假 设 企业 以 前 从 未 涉足 过 这 个 领域 ， 而 且 也 许 任 何人 任何 地 方 
以 前 都 没有 做 过 这 样 的 事情 。 一 个 想法 要 想 配 得 上 创新 的 称谓 ， 就 必须 
与 众 不 同 ， 而 不 能 只 是 对 旧 想 法 改头换面 。 调 整 现 有 算法 的 设置 或 者 修 


























改 一 些 指 标 不 能 算是 创新 。 尝 试 使 用 一 种 完全 不 同 于 以 往 的 建 模 技术 ， 
同时 还 能 对 一 些 新 数据 源 提供 支持 ， 这 才 是 创新 。 

创新 不 是 轻而易举 地 从 现 有 的 软件 或 者 提供 的 服务 中 提取 出 的 成 
品 。 那 些 软件 和 提供 的 服务 对 企业 来 说 可 能 比较 新 颖 ， 但 是 它们 仍 不 算 
征 创 新 。 换 言 之 ， 有 的 东西 对 企业 来 说 可 能 是 高 度 创 新 的 方法 ， 但 如 宁 
它 是 一 种 有 大 量 文件 记载 的 产品 或 者 是 一 种 许多 其 他 公司 已 经 实现 过 的 
流程 ， 那 么 对 其 的 实施 也 不 是 真正 的 创新 ， 而 是 缩小 与 市 场 的 差距 。 


我 们 需要 革新 ， 而 不 古 小 修 小 补 

分 析 创新 需要 尝试 一 些 新 的 、 与 众 不 同 的 东西 。 它 不 是 在 现 有 的 过 程 或 方法 基础 上 进行 小 规 
模 的 扩展 。 分 析 创新 需要 着 眼 于 分 析 新 的 数据 源 、 解 决 新 的 问题 ， 或 两 者 的 结合 。 当 然 ， 分 析 
需要 针对 公司 拥有 很 大 机 会 的 领域 

























































































具体 来 说 ， 创 新 不 同 于 常见 的 特定 问题 分 析 。 这 不 是 说 特定 问题 和 
分 析 的 价值 不 大 。 对 销量 突然 出 现下 滑 的 原因 进行 挖掘 可 以 得 到 很 多 有 
价值 的 信息 。 但 标准 的 特定 需求 分 析 应 当 遵 循 分 析 团 队 做 事 的 常规 流 
程 。 对 于 多 数 特 定 需 求 ， 即 便 它们 着 眼 的 古 一 个 新 问题 ， 通 第 也 不 需要 
使 用 创新 分 析 。 


10.4 在 创新 分 析 中 使 用 欠 代 方法 


为 了 进行 创新 分 析 和 探索 大 数据 ， 使 用 一 些 不 同 的 迭代 方法 是 必要 
的 ， 它 们 能 更 好 地 帮助 达成 目标 。 这 些 方法 强调 合作 和 灵活 性 。 一 个 思 
路 是 ， 使 一 个 小 团队 每 天 在 一 起 工作 ， 以 弄 清 楚 如 何 让 一 个 想法 变 成 现 
实 。 这 个 团队 致力 于 解决 那些 突然 出 现 的 问题 ， 能 够 根据 需求 灵活 地 改 
变 方向 、 推 进 工作 。 对 于 一 种 允许 创新 的 方法 ， 它 需要 能 够 对 反馈 进行 
评估 以 便 做 出 修正 ， 同 时 能 够 坚持 预定 的 计划 。 如 果 需 要 做 出 改变 ， 但 





是 偏离 最 初 的 计划 也 合理 ， 那 么 这 就 是 创新 分 析 。 

例如 ， 一 个 团队 开始 分 析 一 个 新 的 大 数据 源 。 在 数据 内 容 和 结构 中 
肯定 会 遇 到 没 被 预料 到 的 问题 。 一 旦 发 现 这 些 问题 ， 团 队 应 根据 需要 对 
计划 做 出 调整 。 工 作 的 着 眼 点 在 于 ， 获 取 某 种 状态 下 的 数据 使 其 可 以 用 
于 分 析 ， 而 不 是 死板 地 坚持 最 初 的 计划 。 也 有 一 些 指标 不 太 合理 ， 但 其 
他 的 指标 已 经 被 验证 是 可 行 的 。 那 么 ,分 析 团 队 需 要 做 出 适当 的 改变 。 
如 果 在 第 一 阶段 的 最 后 ， 数 据 的 状态 已 经 可 以 用 于 后 续 的 分 析 ， 那 就 成 
功 了 ， 而 不 用 关注 成 功 的 具体 步骤 。 

为 了 在 准备 好 数据 之 后 继续 问 成 功 迈进 ， 需 要 者 眼 于 快速 构建 工作 
原型 。 分 析 团 队 的 目标 是 得 到 一 个 能 证 明 茶 个 想法 可 行 的 东西 。 原 型 需 
要 有 足够 多 的 细节 ， 以 便 企 业 认 真 地 实施 该 想法 时 ， 人 们 可 以 从 整体 上 
理解 该 想法 可 能 的 目的 。 回 到 我 们 的 例子 ， 最 开始 使 用 数据 的 时 候 没 必 
要 进行 完美 的 分 析 。 初 始 的 分 析 不 需要 很 严谨 ， 但 初始 的 工作 需要 做 得 
足够 扎实 才能 体现 出 该 方法 的 优点 ， 以 后 有 足够 多 的 时 间 使 分 析 的 过 程 
变 得 更 加 严谨 。 在 人 们 认为 该 方法 具有 优点 之 前 ， 不 要 在 严谨 方面 花 太 
多 时 间 。 人 快速 的 原型 可 以 使 人 们 接受 该 方法 。 

所 有 这 一 切 的 关键 是 短小 的 达 代 周期 和 分 而 治之 的 轧 想 。 这 样 设计 
的 原因 是 由 于 两 个 方面 ， 一 方面 是 可 以 不 断 地 显示 进展 ， 力 一 方面 是 过 
程 中 还 存在 一 些 不 确定 性 。 每 次 解决 一 点 问题 有 助 于 更 方便 地 解决 不 确 
定性 问题 ， 也 能 够 更 好 地 和 车 握 在 每 个 步骤 中 了 解 到 的 新 东西 。 

















灵活 一 些 
探索 分 析 的 创新 想法 时 ， 不 可 能 总 是 100% 地 理解 所 有 内 容 。 制 订 计 划 时 不 用 面面俱到 ， 项 
目 组 在 起 步 阶段 不 可 能 解决 了 所 有 问题 。 因 此 使 用 一 种 迭代 的 、 灵 活 的 方法 探索 创新 的 想法 非 
常 关 键 。 在 获得 更 多 的 信息 之 后 ， 可 以 对 计划 进行 调整 ， 在 这 个 过 程 中 也 能 得 到 一 些 乐趣 。 



































在 我 们 的 例子 中 ， 分 析 专 家 对 大 数据 进行 挖掘 时 需要 非常 灵活 。 那 


些 数 据 可 能 不 像 我 们 所 希望 的 那么 和 干净， 也 不 像 我 们 所 期 符 的 那么 完 
整 。 这 些 数 据 可 能 也 没有 达到 计划 中 的 预期 价值 。 这 都 没关系 。 一 旦 分 
析 专 家 就 位 并 开始 研究 数据 了 ， 他 们 可 能 会 认识 到 计划 中 的 几 个 后 续 步 
又 并 不 完全 正确 。 如 果 他 们 使 用 的 是 一 种 灵活 的 、 迭 代 的 方法 ， 并 且 没 
有 死板 地 按照 最 初 的 项 目 计 划 开 展 工作 ， 那 么 他 们 随时 可 以 调整 计划 并 
继续 前 进 。 只 要 团队 知道 分 析 努 力 的 目标 和 他 们 试图 证 明 的 结果 ， 他 们 
就 可 以 确保 调整 后 一 切 都 能 步 入 正轨 。 


10.5 考虑 换个 角度 


退休 计划 是 为 了 管理 你 所 面临 的 风险 。 未 来 条 一 天 你 计划 退休 时 ， 
退休 计划 是 为 了 确保 你 有 足够 的 资产 来 保障 你 退休 后 的 生活 。 如 表 10-1 
所 示 ， 风 险 投 资 则 遵循 一 种 完全 不 同 的 模式 。 在 风险 投资 环境 中 进行 投 
资 时 ， 你 希望 在 相对 较 短 的 时 间 框 染 下 获得 较 大 的 回报 。 同 时 ， 在 风险 
投资 模式 中 有 一 个 合理 的 风险 ， 就 是 你 有 可 能 会 损失 全 部 或 大 部 分 的 投 


> 
贫 。 




















表 10-1 退休 计划 与 风险 投资 


退休 计划 











严格 控制 波动 性 波动 性 很 大 
用 于 退休 和 日 党 资产 下 用 于 影 啊 生计 的 资产 

这 里 存在 着 一 个 风险 与 收益 的 平衡 。 如 宋 投 资 者 理解 他 们 在 做 什 
么 ， 并 且 做 出 了 适当 的 选择 ， 退 休 计 划 和 风险 投资 都 是 完全 合理 的 。 今 
天 许多 著名 公司 ， 特 别 是 技术 、 电 子 商 务 和 社会 化 媒体 领域 的 著名 公 
司 ， 部 有 风险 投资 的 支持 。 风 险 投 资 可 以 产生 惊人 的 回报 ， 但 是 与 每 一 
个 像 谷 歌 、 亚 马 逊 这 样 成 功 的 案例 相 比 ， 失 败 的 公司 要 多 得 多 。 














就 像 把 所 有 的 退休 财产 都 按照 风险 投资 的 风格 进行 投资 不 够 明智 一 
样 ， 把 所 有 公司 资源 都 拿 来 冒险 或 创新 也 是 不 明智 的 。 确 保 公 司 能 够 生 
存 并 且 能 在 稳步 增长 的 过 程 中 实现 目标 是 很 有 必要 的 ， 就 像 人 们 必须 实 
现 退 休 目 标 一 样 。 因 此 ， 必 须 对 投 癌 风险 较 大 活动 的 资本 额 进 行 管理 。 
但 即使 是 退休 金 账户 ， 也 会 有 一 定 比例 的 资金 投 在 风险 较 大 的 资产 上 。 


多 样 化 ! 
企业 需要 多 样 化 。 就 像 个 人 只 把 退休 积 莹 中 的 一 小 部 分 投入 到 风险 较 大 的 领域 比较 稳 受 一 
， 企 业 只 把 人 员 、 系 统 和 资产 中 的 一 小 部 分 投入 到 分 析 创 新 中 束 比 较 稳 受 。 如 果 在 混合 型 的 
资 计划 中 不 包含 在 创新 方面 的 投资 ， 这 样 的 投资 计划 所 带 来 的 风险 和 过 度 地 在 创新 方面 进行 
投资 的 风险 是 差不多 的 。 
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然而 ， 还 有 一 个 方面 往往 被 人 们 忽略 了 。 人 们 的 退休 金 账 户 最 终 所 
面临 的 最 大 风险 之 一 却 是 由 于 投资 过 于 安全 造成 的 。 例 如 ， 如 果 退 休 金 
账户 上 100% 都 是 政府 债券 ， 那 也 是 有 风险 的 ， 因 为 债券 的 收益 也 许 仅 
仅 只 能 抵消 通货 膨胀 。 尽 管 账 尸 上 的 钱 肯 定 不 会 减少 ， 但 可 能 无 法 达到 
预期 的 收益 目标 。 本 金 可 以 保证 不 损失 ， 但 同时 账户 上 的 钱 肯 定 无 法 保 
证 我 们 及 时 退休 ! 

面 对 大 数据 和 分 析 时 ， 如 果 公 司 仅仅 采用 安全 的 做 法 而 不 做 其 他 努 
力 ， 那 么 也 将 面临 与 退休 金 账户 一 样 的 风险 。 如 果 公 司 硕 望 沿 着 当前 的 
路 线 继续 长 期 及 展 ， 那 么 有 必要 主动 引入 一 些 投资 风险 。 建 立 分 析 创 新 
中 心 就 是 一 种 很 好 的 创新 机 制 。 


10.6 ”你 是 否 为 建立 分 析 创 新 中 心 做 好 了 准备 


对 大 数据 和 高 级 分 析 都 能 有 所 帮助 的 一 般 性 概念 是 建立 一 个 分 析 创 
新 中 心 。 分 析 创 新 中 心 能 推动 对 新 想法 的 快速 探索 ， 能 缩短 想法 的 构思 








与 想法 的 正式 执行 、 实 现 之 间 的 延迟 。 分 析 创 新 中 心 拥有 监督 机 制 和 想 
法 虽 选 流程 。 这 不 是 一 种 一 切 都 很 混乱 的 无 序 状态 。 与 常见 的 企业 官僚 
主义 做 法 相 比 ， 决 俩 和 审批 的 过 程 都 大 大 加 速 了。 我 们 来 看 看 它 的 工作 
原理 。 


把 概念 整合 起 来 

分 析 创 新 中 心 把 前 9 章 的 概念 整合 到 了 一 起 。 它 用 到 了 第 一 部 分 讨论 到 的 大 数据 源 ， 用 到 了 
第 二 部 分 概述 的 工具 、 过 程 和 技术 ， 以 及 第 三 部 分 概述 的 人 和 方法 。 建 立 分 析 创 新 中 心 是 一 种 
驾驭 大 数据 ， 并 对 大 数据 进行 创新 分 析 的 方法 。 






































10.6.1 组 件 1: 技术 平台 


分 析 创 新 中 心 需要 一 个 技术 平台 来 保留 并 分 析 目 标 工程 所 需要 的 数 
据 。 创 新 中 心 的 基础 架构 需要 逻辑 上 独立 并 旦 清晰。 中 心 的 团队 将 需要 
致力 于 研究 数据 库 资源 、 分 析 工 具 、 网 络 带 宽 和 等。 企业 级 数据 仓库 (最 
理想 的 ) 、 分 析 平 台 或 者 数据 集 市 往往 是 一 个 不 错 的 起 点 。 为 了 处 理 大 
数据 源 ， 中 心 还 需要 一 个 系统 来 辅助 处 理 半 结构 化 和 非 结 构 化 的 大 数 
据 。 就 像 我 们 在 第 4 章 中 讨论 的 ，MapReduce 框 架 是 满足 这 一 需求 最 合 
适 的 选择 。 

环境 需要 能 够 访问 现 有 平台 上 的 数据 ， 因 为 任何 数据 都 可 能 需要 进 
行 分 析 。 在 此 基础 上 ， 中 心 需要 能 够 从 新 的 数据 源 加 载 和 分 析 数 据 。 分 
析 创 新 中 心 开展 的 许多 工程 将 使 用 新 的 数据 源 来 开展 实验 ， 然 后 看 看 能 
否 与 其 他 数据 进行 结合 ， 以 获得 所 需 的 价值 。 

根据 已 有 的 讨论 ， 分 析 创 新 中 心 的 技术 实际 上 是 非常 容易 理解 的 。 
从 实现 的 角度 来 看 ， 分 析 创 新 中 心 的 基础 架构 就 像 我 们 在 第 5 章 中 说 到 
的 分 析 沙 箱 一 样 简单 。 就 像 在 企业 数据 仓库 或 数据 集 市 中 安置 沙 箱 以 便 
进行 每 日 分 析 一 样 ， 可 以 在 分 析 创 新 中 心 创 建 一 个 专用 的 沙 箱 环 境 。 然 














而 ， 为 中 心 分 配 的 资源 应 当 与 为 每 日 分 析 沙 箱 分 配 的 资源 相 分 离 。 当 涉 
及 中 心 的 MapReduce 环 境 时 ， 可 以 把 已 存在 的 环境 留 出 一 部 分 来 给 创新 
中 心 ， 或 者 实现 一 个 独立 的 、 专 用 的 MapReduce 环 境 以 便 顺 利 实现 创新 
分 析 中 心 。 

为 分 析 创 新 中 心 创建 基础 架构 不 应 该 那么 抹 烦 。 为 了 满足 企业 的 其 
他 分 析 要 求 ， 所 有 的 资源 都 已 经 以 某 种 形式 就 位 了 。 我 们 要 做 的 只 是 为 
中 心 隔离 出 一 些 资源 。 根 据 库 内 分 析 和 沙 箱 原则 ， 不 需要 重新 购买 一 整 
套 的 软件 或 者 设备 。 


10.6.2 组件 2: 第 三 方 的 产品 和 服务 


分 析 创 新 中 心 有 时 需要 支持 第 三 方 产品 ， 这 是 因为 为 了 有 效 地 探索 
创新 想法 ， 有 时 需要 一 些 额外 的 功能 。 已 经 存在 的 工具 可 能 没有 所 需 的 
算法 或 其 他 性 能 。 例 如 ， 也 许 存在 一 种 先进 的 建 模 工具 ， 我 们 的 团队 想 
使 用 其 中 的 一 种 新 算法 作为 探索 分 析 的 一 部 分 。 这 种 情况 下 为 项 目 购买 
软件 或 者 获取 试用 版 软件 都 比较 合适 。 

在 当前 研究 的 主要 领域 ， 企 业 可 能 还 需要 有 经 验 的 外 部 顾问 的 帮 
助 。 没 有 哪 家 企业 拥有 熟悉 各 种 拉 能 的 分 析 专 字 ， 处 于 早期 开创 阶段 的 
企业 尤其 如 此 。 而 且 内 部 的 资源 也 可 能 没有 时 间 对 创新 项 目 进行 支持 。 
从 有 经 验 的 外 部 专家 那里 得 到 适当 的 文 持 ， 可 以 极 大 地 提高 创新 分 析 取 
得 更 大 成 果 的 概率 。 


10.6.3 组件 3: 承诺 和 支持 


分 析 创 新 中 心 需要 获得 高 层 的 承诺 ， 关 于 使 用 本 章 前 面 讨论 的 迭代 
方法 来 研究 新 想法 。 为 此 ， 需 要 得 到 省 理 层 的 支持 、 指 导 和 参与 。 分 析 
创新 中 心 必须 获得 管理 层 的 支持 ， 毕 竞 这 是 一 笔 很 大 的 投资 ， 而 有 些 人 
认为 它 是 有 风险 的 。 只 有 管理 层 可 以 提供 所 需 的 文 持 ， 使 中 心 获得 批 





















































准 ， 并 且 对 抗 项 固 的 官僚 主义 作风 。 

中 心 的 每 一 个 项 目 都 有 赞助 人 是 同 样 重要 的 。 项 目 赞助 人 必须 在 执 
行 过 程 中 发 挥 作用 ， 并 且 需 要 有 权力 、 能 力 和 意愿 去 执行 经 过 验证 的 想 
法 。 这 是 很 关键 的 ， 因 为 如 果 没 有 人 捍卫 该 想法 并 确保 它 能 够 获得 音 
普 ， 那 么 即使 能 证 明 该 想法 有 广阔 的 前 景 也 没有 用 。 没 有 管理 层 的 文 持 
和 远见 ， 项 目 可 以 取得 技术 上 的 成 功 ， 但 不 会 产生 任何 积极 的 影 啊 。 


10.6.4 组 件 4:， 强大 的 团队 


分 析 创 新 中 心 需要 有 一 个 具备 商业 、IT 和 分 析 技 能 的 团队 。 分 析 创 
新 中 心 最 重要 的 部 分 就 是 分 配给 它 的 团队 。 商 业 资 源 能 帮助 确定 问题 ， 
并 考虑 到 实际 的 情况 。 分 析 资 源 能 对 数据 进行 挖掘 ， 并 执行 所 需 的 分 
析 。IT 资 源 能 管理 分 析 创 新 中 心 使 用 的 数据 、 设 备 和 流程 。 

分 配给 分 析 创 新 中 心 的 员工 应 当 是 企业 中 最 优秀 的 员工 ， 这 一 点 非 
常 关 键 。 能 够 被 分 配 到 分 析 创 新 中 心 应 该 是 一 种 薪 溜 ， 企 业 的 员工 可 以 
轮换 着 到 分 析 创 新 中 心 工 作 。 理 想 情况 下 ， 应 该 有 一 批 人 全 时 工作 在 分 
析 创 新 中 心 。 如 果 出 于 预算 限制 ， 不 能 安排 全 时 的 中 心 工作 人 员 ， 那 也 
应 该 把 中 心 的 工作 视 为 团队 成 员工 作 中 的 一 个 正式 部 分 。 如 果 计 划 把 员 
工 20% 的 时 间 和 安排 给 分 析 创 新 中 心 ， 那 就 需要 从 他 们 的 工作 时 间 中 正式 
划分 出 20% 的 时 间 。 如 果 设 定 的 计划 是 团队 首先 把 他 们 的 其 他 事情 都 做 
完 ， 然 后 在 有 时 间 的 时 候 再 从 事 分 析 创 新 中 心 的 项 目 ， 那 这 个 团队 是 不 
会 取得 成 功 的 。 他 们 永远 也 挤 不 出 时 间 为 分 析 创 新 中 心 工 作 ， 因 此 中 心 
的 项 目 不 会 有 任何 进展 。 


10.6.5 ”组 件 5: 创新 委员 会 

















分 析 创 新 中 心 的 最 后 一 个 组 件 是 创新 委员 会 。 委 员 会 由 中 心 的 团队 
成 员 、 执 行 负 责 人 以 及 来 自 相 关 业 务 部 门 的 代表 组 成 。 委 员 会 要 做 的 事 


情 是 对 众多 的 想法 进行 审查 ， 从 中 选择 出 值得 尝试 的 想法 。 束 像 初创 公 
司 需 要 疝 风 投 公司 推销 自己 一 样 ， 茶 人 需要 通过 一 个 简短 的 陈述 来 说 明 
该 想法 具体 是 什么 、 为 什么 有 价值 、 研 究 计 划 是 什么 ， 并 构建 一 个 原 
。 委 员 会 听取 其 陈述 并 提问 ， 然 后 对 所 描述 的 想法 进行 讨论 ， 最 后 决 
E 每 个 想法 是 否 值 得 尝试 ， 如 果 值 得 ， 就 把 它 加 入 项 目 列表 。 
委员 会 在 项 目 开 始 之 后 还 要 继续 对 其 进行 监督 。 中 间 结 果 和 过 到 的 
问题 都 可 以 拿 到 委员 会 进行 讨论 。 随 着 项 目的 展开 ， 更 多 的 事实 被 揭示 
出 来 ， 因 此 委员 会 也 有 可 能 会 对 项 目 如 何 进行 提出 一 些 想 法 。 如 果 项 目 
遇 到 大 问题 ， 委 员 会 可 以 决定 放弃 它 。 我 们 后 面 会 详细 讨论 如 何 处 理 失 
败 。 总 而 言 之 ， 委 员 会 对 中 心 发 生 的 所 有 事情 进行 监督 ， 并 将 项 目 团队 
的 行为 引导 到 最 有 可 能 产 出 结果 的 最 佳 想 法 上 。 


10.6.6 ”分析 创 新 中 心 的 指导 原则 


前 面 讨论 过 ， 分 析 创 新 中 心 需要 能 够 目 治 ， 还 需要 有 获得 成 功 所 需 
要 的 灵活 性 与 资源 。 对 于 前 面 概述 的 专用 环境 ， 不 管 它 是 物理 上 不 同 
的 ， 还 是 仅仅 从 逻辑 上 划分 的 ， 都 必须 不 受 产 品 需 求 或 流程 的 限制 。 这 
并 不 意味 着 分 析 创 新 中 心 可 以 占用 全 部 的 可 用 系统 资源 ， 而 是 意味 着 如 
果 决 定 把 10% 的 可 用 系统 资源 给 创新 中 心 使 用 ， 那 么 中 心 运行 的 流程 要 
能 够 使 用 这 10% 的 可 用 系统 资源 。 当 然 ， 分 配给 中 心 的 人 员 需 要 有 专门 
的 时 间 开 发 和 实验 中 心 的 想法 。 为 分 析 创 新 中 心 的 项 目 工作 不 应 该 是 日 
常 工 作 之 外 的 任务 ， 而 应 该 是 日 常 工作 的 一 部 分 。 

在 为 中 心 制 定 基 本 规则 (包括 创新 委员 会 的 工作 方式 ) 时 ， 快 速 的 
啊 应 、 最 少 的 官 价 主 义 和 繁 文 首 节 应 该 是 关注 的 焦 皮 。 如 果 给 中 心 分 配 
了 它 所 需要 的 优秀 人 才 ， 那 束 没 有 必要 用 "党 文 扼 节 ” 把 他 们 限制 得 太 
死 。 繁 文 强 市 的 目的 是 让 不 诚实 的 人 变 得 诚实 ， 让 不 能 胜任 工作 的 人 不 
要 做 错 事 。 诚 实 、 完 全 胜任 工作 的 人 不 需要 “ 苔 文 细 古 ”因为 他 们 很 自 
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然 地 就 能 用 正确 的 方式 做 正确 的 事情 。 我 们 在 第 8 章 中 讨论 的 优秀 分 析 
专家 显然 吏 属 于 这 样 的 人 。 

为 一 条 重要 的 指导 原则 是 ， 分 析 创 新 中 心 应 该 遵循 风险 投资 模型 而 
不 是 退休 金 模型 。 它 选中 进行 尝试 的 项 目 应 该 有 可 能 获得 丰厚 的 正 收 
葵 ， 并 且 有 助 于 推进 公司 的 一 项 或 多 项 战略 计划 。 有 些 想 法 将 会 失败 ， 
这 没 问题 ， 而 我 们 希望 它们 能 尽快 失败 。 目 标 是 从 输家 中 找 出 一 些 大 硼 
家 ， 同 时 杜绝 那 种 把 失败 的 想法 视 为 洪水 猛兽 的 错误 思想 。 


10.6.7 分 析 创 新 中 心 的 工作 范围 


我 们 讨论 过 ， 分 析 创 新 中 心 致力 于 解决 那些 不 太 和 常见 也 不 太 简 蛙 的 
问题 。 如 宋 你 发 现 你 的 中 心 正在 做 第 规 的 数据 分 析 或 者 日 党 报表 ， 那 惑 
赶紧 停止 ! 如 果 你 发 现 你 的 中 心 正在 做 微小 的 产品 改进 ， 那 就 赶紧 停 
止 ! 如 果 你 的 中 心 正在 全 面 测 试 一 个 新 的 应 用 ， 而 目的 仅仅 是 了 解 其 原 
理 ， 那 就 赶紧 停止 ! 如 果 你 的 中 心 正在 实现 一 个 分 析 流 程 的 正式 产品 ， 
那 束 赶 紧 停 止 ! 即便 对 于 分 析 创 新 中 心里 面 非常 成 功 的 项 目 ， 也 只 要 做 
到 证 明 所 探索 的 概念 可 以 应 用 并 且 能 够 应 用 就 可 以 了 。 中 心 从 设立 之 初 
就 不 属于 长 期 计划 的 一 部 分 。 


别 做 不 该 做 的 事 ! 

分 析 创 新 中 心 应 该 只 用 于 计划 之 中 的 目的 。 初 步 的 探索 、 集 中 的 研究 和 初步 的 原型 是 分 析 创 
新 中 心 可 以 处 理 的 对 象 。 一 旦 决定 对 原型 进行 大 规模 的 、 更 正式 的 实现 ， 那 就 不 再 是 中 心 的 业 
务 范围 了 。 此 时 ， 中 心 的 资源 需要 转向 下 一 个 问题 ， 并 将 前 面 的 这 个 项 目 移交 给 实现 团队 。 



















































































对 创新 分 析 进 行 尝试 的 过 程 可 以 分 为 多 个 阶段 。 如 图 10-1 所 示 ， 分 
析 创 新 中 心 的 任务 什么 时 候 终 止 是 很 明确 的 。 过 程 从 一 个 想法 开始 。 首 
先 ， 通 过 初始 的 探索 把 团队 的 思维 集中 到 问题 上 。 然 后 ， 转 至 稍微 深 一 
扩 的 层次 集中 研究 ， 实 际 挖掘 问题 的 本 质 。 这 时 需要 开发 一 个 原型 来 展 


示 想 法 的 原理 。 到 这 里 为 止 ， 所 有 的 工作 都 是 在 分 析 创 新 中 心 进行 的 。 
一 旦 决定 为 这 个 原型 构建 正式 版 本 以 便 部 署 ， 项 目 就 应 该 拿 到 中 心 外 面 
去 做 了 。 一 旦 想法 得 到 了 验证 ， 就 应 该 按 更 传统 的 方式 去 处 理 ， 但 优先 
级 应 该 大 大 提高 。 


分 析 创 新 中 心 只 着 眼 于 想法 工作 流程 的 初始 阶段 ， 每 经 过 一 个 步骤 ， 项 目的 数量 都 会 变 少 
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结构 与 流程 控制 一 一 一 一 一 一 一 一 > 
图 10-1 分 析 创 新 中 心 的 工作 范围 

原型 构建 成 功 后 ， 项 目 又 陷入 到 竭力 避免 的 官 价 主义 中 去 了 ， 这 不 
茶 又 让 人 开始 担心 。 然 而 ， 当 决定 把 某 个 东西 用 于 数 百 万 美元 级 别 的 决 
策 时 ， 安 全 一 点 还 是 有 必要 的 ， 而 且 还 要 确保 其 实现 与 公司 的 其 他 部 效 
一 致 。 分 析 创 新 中 心 在 可 以 预计 想法 实现 的 时 间 点 上 设置 一 个 快捷 方 
式 。 成 功 的 秘诀 是 ， 继 续 快 速 处 理 该 想法 ， 只 使 用 必要 的 测试 和 流程 改 
变 计划 以 确保 实现 的 成 功 。 

例如 ， 考 虑 一 家 决定 对 客服 邮件 进行 分 析 ， 以 识别 客 尸 情绪 和 产品 
问题 的 企业 。 最 初 ， 收 集 到 的 样本 邮件 被 送 往 分 析 创 新 中 心 的 团队 。 访 
团队 使 用 文本 分 析 工 具 的 试用 版 开发 初始 的 分 析 集 合 。 在 这 一 初始 工作 
中 ， 团 队 识别 出 了 几 个 令 人 信服 的 结果 ， 于 是 该 想法 获得 了 文 持 ， 将 进 
行 大 规模 的 实现 。 

此 时 ， 实 现 应 当 在 中 心 外 部 进行 ， 它 应 该 成 为 一 个 正式 的 项 目 。 需 
要 购买 并 安装 文本 分 析 软 件 ， 需 要 建立 邮件 记录 数据 源 ， 还 需要 对 原型 























中 使 用 的 分 析 方 法 进行 改进 。 这 些 步 又 不 应 该 是 创新 中 心 的 一 部 分 。 一 
旦 论证 了 分 析 客 服 电子 邮件 这 个 想法 有 足够 的 价值 ， 值 得 继续 符 试 ， 那 
么 创新 中 心 的 任务 就 结束 了 。 根 据 推测 ， 创 新 中 心 提 供 的 证 据 将 加 快 实 
现 的 过 程 。 由 于 想法 得 到 了 验证 ， 其 商业 价值 也 清晰 可 见 ， 员 工 们 都 很 
振 否 。 

需要 指出 的 是 ， 这 些 固定 的 工作 范围 有 一 种 例外 情况 。 考 虑 这 样 一 
种 情况 : 分 析 创 新 中 心 创建 了 一 种 非常 强大 的 新 分 析 流 程 。 它 证 明了 一 
种 新 的 大 数据 源 会 对 生意 有 极 大 的 帮助 。 它 甚至 能 准确 地 知道 为 了 对 该 
流程 进行 量 产 还 需要 做 什么 ， 并 且 量 产 的 计划 已 经 准备 好 了 。 在 这 种 情 
况 下 ， 把 分 析 创 新 中 心 的 范围 扩大 一 些 也 是 合理 的 。 

个 要 犯 俊 地 告诉 业务 人 员 你 有 一 种 全 新 的 分 术 流 程 可 以 帮助 他 们 ， 
也 不 要 犯 傻 地 告诉 他 们 在 分 析 创 新 中 心 还 有 一 个 原型 在 运行 。 然 而 ， 开 
台 量 产 之 后 ， 这 个 过 程 就 会 被 停止 。3 一 6 个 月 之 后 ， 过 程 会 在 产品 环境 
中 再 次 局 动 ， 此 时 商业 用 户 将 可 以 获取 数据 。 这 其 实 没 多 大 意义 。 有 意 
义 的 是 ， 在 新 分 析 流 程 被 正式 运行 的 这 段 时 间 ， 让 其 在 分 析 创 新 中 心 之 
外 运行 ， 这 样 就 可 以 立即 开始 产生 结果 了 。 

要 想 出 现 前 面 提 到 的 例外 情况 需要 有 很 多 条 件 。 如 果 企业 对 把 流程 
投入 量 产 并 快速 完成 流程 不 是 太 上 心 ， 那 么 中 心 就 会 变 成 准 生 产 环境 ， 
这 就 陷入 了 一 种 危险 的 境地 且 不 是 好 事 。 尤 其 是 人 们 不 能 因为 流程 在 创 
新 分 析 中 心 之 外 运行 而 放松 实现 环节 。 他 们 一 开始 也 许 自 认 为 可 以 安全 
地 把 时 间 投 入 到 其 他 项 目 中 去 ， 因 为 至 少 中 心 的 赞助 人 已 经 能 够 得 到 结 
果 了 。 分 析 创 新 中 心 需要 尽快 摆脱 已 经 验证 过 的 想法 ， 并 转向 下 一 个 想 
法 。 与 此 同时 ， 不 要 仅仅 为 了 严格 遵守 不 要 路 过 初始 原型 进入 到 下 一 阶 
段 的 规则 ， 而 让 业务 人 员 长 时 间 地 等 候 他 们 所 需要 的 信息 。 
































10.6.8 ”处 理 失败 





在 分 析 创 新 中 心中 ， 失 败 是 无 法 避免 的 ， 并 非 每 个 想法 都 能 获得 好 
的 产 出 。 失 败 可 以 在 几 种 不 同 的 层次 中 出 现 ， 我 们 将 讨论 其 中 的 一 些 关 

第 一 种 失败 类型 是 一 种 彻底 的 失败 。 在 这 种 情况 下 ， 每 个 人 从 一 开 
台 就 能 感 党 到 团队 错误 地 认为 茶 想 法 能 够 成 功 。 也 许 这 是 一 个 很 好 的 想 
法 ， 但 从 实际 来 讲 ， 考 虑 到 所 涉及 的 数据 和 商业 流程 ， 这 个 想法 肯定 不 
会 成 功 。 这 种 类 型 的 失败 会 导致 我 们 放弃 相应 的 想法 。 注 意 ， 即 便 在 这 
种 情况 下 ， 也 还 是 可 以 从 数据 和 遇 到 的 问题 中 学 到 许多 东西 。 所 有 那些 
新 教训 都 可 以 在 未 来 得 到 补偿 。 失 败 仅 仅 是 因为 想法 不 能 在 分 析 创 新 中 
心中 得 到 验证 ， 并 不 意味 着 不 能 获得 重要 的 知识 。 

为 一 种 失败 类 型 是 想法 目前 失败 了 ， 但 团队 觉得 该 想法 在 未 来 人 东 个 
时 间 仍 然 能 够 取得 成 功 。 也 许 到 时 候 会 有 一 些 新 的 可 用 数据 ， 或 者 会 有 
一 个 功能 更 强大 的 系统 来 支持 处 理 流程 ， 或 者 公司 商业 模型 的 新 变化 使 
得 流程 的 创新 变 得 可 行 。 这 种 类 型 失败 会 被 搁置 起 来 ， 等 困难 变 小 之 后 
再 做 尝试 。 与 前 面 一 样 ， 此 时 也 仍然 可 以 学 到 许多 东西 ， 而 且 所 学 到 的 
东西 可 以 立即 应 用 到 其 他 工作 中 。 

最 后 一 种 失败 类 型 是 所 涉及 的 想法 其 实 是 可 行 的 。 想 法 本 号 有 其 优 
点 ， 公 司 也 可 以 从 中 赚 到 钱 。 然 而 ， 获 得 回报 的 数额 还 不 足以 承担 该 想 
法 所 消耗 的 资源 ， 或 者 别 的 项 目 潜 在 的 回报 率 更 高 。 在 这 种 情况 下 ， 应 
当 搁置 或 者 放弃 该 想法 。 

当 失 败 发 生 时 ， 有 三 条 原则 可 以 帮助 管理 它们 。 第 一 条 ， 对 于 任意 
给 定 的 项 目 ， 其 目标 是 用 最 少 的 资源 验证 项 目 是 人 否 具 有 潜在 的 价值 。 如 
果 把 需要 花费 多 年 时 间 和 数 百 万 美元 的 大 项 目 分 配给 分 析 创 新 中 心 ， 那 
就 违背 了 创建 分 析 创 新 中 心 的 初衷。 中 心 的 项 目 周期 应 该 可 以 用 两 周到 
几 个 月 的 时 间 完 成 。 如 果 彻 底 处 理 一 个 问题 所 需要 的 工作 量 太 大 ， 那 么 
可 以 通过 和 仔细 研究 其 初始 的 、 短 暂 的 阶段 来 分 析 其 他 的 阶段 是 否 可 行 。 

第 二 条 ， 如 果 中 心 最 近 的 运气 不 佳 ， 那 就 不 要 处 理 过 于 庞大 的 项 目 





























以 免 无 法 承受 失败 的 打击 。 可 以 通过 参考 职业 扑克 玩家 来 阐释 这 条 原 
则 。 职 业 扑 克 领 域 的 黄金 法 则 之 一 残 是 只 玩 能 输 得 起 的 游戏 。 没 有 哪个 
扑克 玩家 会 把 他 “她 ) 的 所 有 钱 一 次 性 拿 出 来 财 掉 ， 原 因 是 可 能 会 出 现 
牌 运 特别 兰 的 偶然 情况 ， 使 玩家 输 反 一 两 笔 大 的 赌注 ， 进 而 输 摊 牌 局 中 
大 部 分 或 者 全 部 的 投入 。 

在 我 曾经 参加 过 的 一 次 梭哈 游戏 中 ，4 张 A 输 给 了 同花顺 。 出 现 这 种 
情况 的 几率 不 能 说 最 小 ， 但 肯定 是 非常 小 了 。 对 大 多 数 人 而 言 ， 手 握 4 
张 A 时 ， 他 们 可 能 会 输 光 所 有 的 钱 ， 因 为 他 们 很 愿意 把 全 部 吴 家 都 押 
上 。 毕 竟 ， 当 你 手 握 4 张 A 时 ， 你 非常 期 竺 别人 免费 给 你 送 钱 ， 他 们 押 
得 越 多 你 也 会 跟 得 越 多 。 从 统计 学 上 讲 ， 这 样 做 是 正确 的 ， 因 为 失败 的 
几率 趋 问 于 无 穷 小 。 然 而 ， 失 败 还 是 有 可 能 发 生 的 。 

职业 扑克 玩家 玩 牌 的 核心 原则 是 ， 无 论 牌 运 多 么 兰 ， 所 押 的 赌注 者 
不 足以 使 其 大 伤 元 气 。 一 旦 坏 运 气 结束 了 ， 他 们 还 留 有 足够 的 实力 ， 统 
计 概 率 可 以 确保 他 们 最 终 获 得 一 连 串 的 好 运 来 弥补 之 前 的 损失 。 在 坏 运 
气 结束 之 前 破产 是 最 粳 糕 的 情况 。 


没有 经 历 过 失败 ， 就 不 能 算是 成 功 ! 

如 果 分 析 创 新 中 心 没有 经 历 过 失败 ， 或 者 所 经 历 的 少数 几 次 失败 不 够 大 、 不 够 彻底 ， 那 么 该 
中 心 运转 得 有 点 过 于 保守 了 。 创 新 是 一 种 对 极限 的 挑战 ， 一 种 冒险 行为 。 通 过 研究 创新 分 析 流 
程 失 败 的 原因 ， 所 学 到 的 东西 不 见得 比 从 成 功 的 分 析 流 程 中 学 到 的 东西 少 。 



























































第 三 条 ， 也 许 也 是 最 重要 的 一 条 原则 是 ， 记 住 从 失败 中 学 到 的 东 
西 。 当 失败 发 生 时 ， 仪 仅 将 其 视 为 一 次 失败 是 不 可 取 的 ， 它 也 是 一 次 学 
习 的 经 历 。 现 在 我 们 不 仅 知 道 为 什么 当初 我 们 会 假定 这 个 失败 的 想法 能 
成 功 ， 还 知道 它 为 什么 不 能 成 功 。 想 法 不 能 成 功 的 原因 对 于 未 来 的 流程 
设计 具有 极其 重要 的 帮助 。 如 果 我 们 通过 一 个 失败 的 项 目 发 现 了 数据 中 
的 新 限制 ， 或 者 及 现 了 企业 所 做 假设 中 的 新 问题 ， 那 么 可 以 确保 同样 的 














问题 不 会 再 出 现在 其 他 流程 中 。 新 学 到 的 知识 对 现 有 的 和 未 来 的 工作 都 
能 产生 影 啊 。 

随 着 时 间 的 推移 ， 企 业 引 入 了 分 析 创 新 中 心 的 概念 并 证 明了 其 价 
值 ， 那 束 可 以 增加 入 手 和 技术 来 扩张 分 析 创 新 中 心 。 分 析 创 新 中 心 实现 
的 方式 ， 以 及 驱动 分 析 创 新 中 心 需求 的 原则 ， 都 可 以 应 用 于 其 他 商业 领 
域 。 并 非 只 有 分 析 需 要 它 自 己 的 创新 中 心 ， 一 定 还 有 其 他 商业 领域 也 有 
这 样 的 需求 。 一 旦 企业 取得 了 一 个 领域 的 创新 经 验 ， 就 会 很 容易 扩展 到 
其 他 领域 。 


10.7 本 章 小 结 


以 下 是 本 章 的 重点 内 容 。 

@ ”在 分 析 和 数据 处 理 领域 进行 创新 是 企业 友 展 的 重点 方 问 。 

”分 析 创 新 需要 着 眼 于 分 析 新 的 数据 源 、 解 决 新 的 问题 或 两 者 的 结 
合 ， 它 不 是 对 现 有 过 程 或 方法 的 简单 扩展 。 

四 ”根据 定义 ， 创 新 性 的 想法 具有 风险 ， 并 且 无 法 被 完全 理解 。 需 要 
用 壕 代 的 、 灵 活 的 方法 驱动 创新 分 析 ， 并 在 实践 过 程 根据 需要 不 断 地 调 
整 计划 。 

四 ”一定 比 例 的 公司 资源 应 该 像 风 险 投 资 模型 那样 分 配 ， 而 不 是 像 退 
休 金 模型 那样 分 配 。 建 立 分 析 创 新 中 心 是 这 种 分 配方 式 的 一 个 好 办 法 。 

国 分 析 创 新 中 心 应 当 有 专门 的 人 员 、 流 程 和 技术 ， 还 需要 有 一 个 兼 
其 多 种 职能 的 监督 委员 会 为 其 指引 正确 的 路 线 。 

四 ”个 分 配 有 分 析 创 新 中 心 项 目的 工作 人 员 需 要 有 正式 的 、 被 分 配 的 
项 目 工作 时 间 ， 而 不 是 只 能 用 其 工作 之 余 的 时 间 来 从 事 分析 创 新 中 心 的 
工作 ， 这 一 点 很 关键 。 

四 ”不 要 使 分 析 创新 中 心 涉及 生产 过 程 ， 也 不 要 让 其 对 验证 过 的 原型 
进行 完全 的 开 用 。 分 析 创 新 中 心 的 职责 范围 仅 限 于 原型 。 


























四 ”只 使 用 足够 的 资源 来 验证 想法 的 可 行 性 ， 不 处 理 过 于 庞大 、 风 险 
很 大 的 工程 。 

四 ”快速 识别 出 分 析 创 新 中 心中 的 失败 ， 这 样 分 析 团 队 就 可 以 继续 研 
完 其 他 的 问题 。 

四 ”从 失败 中 可 以 学 到 许多 东西 ， 失 败 并 不 总 是 坏事 。 如 果 在 失败 的 
流程 中 学 到 的 东西 能 广泛 用 于 改善 过 去 的 和 未 来 的 其 他 流程 ， 那 这 样 的 
失败 是 相当 有 价值 的 。 





第 11 章 
营造 创新 和 探索 的 文化 氛围 


如 果 你 有 孩子 ， 你 能 说 出 他 们 生日 来 临时 最 想 要 的 大 玩具 是 什么 
吗 ? 如果 你 没 孩子 ， 你 能 说 出 下 一 个 像 Phone 或 Wi 一 样 供不应求 的 时 
尚 电子 发 明 是 什么 吗 ? 你 能 说 出 下 一 个 像 宠物 石头 一 样 可 笑 的 流行 趋势 
是 什么 吗 ? 

多 数 人 都 无 法 回答 这 样 的 问题 。 这 很 正常 ， 因 为 创新 的 方法 在 问世 
之 前 从 来 都 不 是 显而易见 的 ， 显 而 易 见 的 想法 不 可 能 具有 创新 性 。 如 果 
有 人 经 常 能 够 预见 到 这 样 的 创新 ， 那 么 他 她) 应 该 可 以 直接 退休 ， 去 
某 个 美丽 的 小 岛 上 安 度 余生 并 坐 享 大 笔 财 语 了 ! 

本 章 对 全 书 的 内 容 进 行 总 结 ， 并 阐述 如 何 营造 创新 和 探索 的 文化 氛 
围 。 我 们 希望 通过 有 趣 、 和 生动 的 文字 引起 读者 的 思考 。 多 数 概 念 都 比较 
第 见 ， 但 我 们 仍 有 必要 对 其 进行 回顾 ， 并 思考 如 何 将 这 些 公 知 的 原则 应 
用 于 大 数据 和 高 级 分 析 学 (advanced analytics) 。 顺 便 提 一 下 ， 如 果 你 
喜欢 宠物 石 尖 ， 可 以 去 ThinkGeek.com- 呈 看 看 现代 化 的 USB 完 物 石 
头 ! 


11.1 做 好 准备 


Silly Bandz 和 Jibbitz 是 两 种 新 近 出 现 并 迅速 凯 起 的 创新 产品 。 为 了 防 
止 你 不 了 解 它们 ， 这 里 简单 介绍 一 下 : Sily Bandz 基 本 上 是 形 如 动物 、 
玩具 或 者 其 他 日 常 物品 的 彩色 橡皮 圈 ， 孩 子 们 喜欢 佩戴 、 交 换 和 收集 这 
些 东 西 。Sily Bandz 在 我 的 孩子 所 在 的 学 校 非常 流行 ,但 是 学 校 已 经 禁 
止 他 们 携带 Sily Bandz 了 ， 因 为 Sily Bandz 严 重 分 散 了 孩子 们 的 注意 
力 。Jibbitz 是 附着 在 Crocs 鞋 孔 上 的 小 数字 。 低 头 看 看 孩子 们 的 脚 ， 如 果 














他 们 穿 的 是 Crocs 的 鞋 ， 上 面 十 有 八 九 会 有 一 些 Jibbitz。Crocs 和 Jibbitz 都 
是 拥有 全 新 的 创新 想法 并 付 诸 实践 从 而 取得 了 巨大 成 功 的 例子 。 

这 类 创新 不 算 新 鲜 。 两 千 多 年 前 ， 毕 达 哥 拉 斯 首先 提出 了 地 球 是 圆 
形 而 不 是 方形 的 理论 。 数 百年 前 ， 哥 白 尼 指 出 太阳 系 的 中 心 是 太阳 而 不 
是 地 球 ， 从 而 颠覆 了 传统 认 知 。 数 十 年 前 ， 爱 因 斯 坦 提 出 了 广义 相对 
论 。 

有 些 创 新 是 独立 存在 的 ， 有 些 创新 则 必须 建立 在 已 有 创新 的 基础 
上 。 例 如 ， 如 果 没 有 Crocs， 那 么 Jibbitz 也 就 毫 无 意义 了 。 不 管 是 什么 样 
的 创新 ， 都 需要 有 勇气 构思 一 个 疯狂 的 新 想法 ， 然 后 全 身心 地 投入 其 
中 。 对 一 个 企业 而 言 ， 为 了 成 功 地 实现 创新 ， 必 须 营造 出 创新 和 探索 的 
文化 氛围 来 豆 励 实验 、 促 使 员工 质疑 假设 以 及 尝试 改变 工作 方式 。 这 并 
不 容易 实现 ， 需 要 努力 和 专注 。 但 如 果 没 有 这 样 的 文化 ， 我 们 的 企业 就 
会 被 慢 慢 淘汰 ， 因 为 竞争 会 无 情 地 和 奔走 它 的 生意 。 

你 的 公司 是 否 已 经 开始 处 理 大 数据 并 努力 轨 驭 它 ? 你 的 公司 是 否 已 
经 根据 大 数据 的 特点 开发 出 了 新 的 分 析 流 程 ? 你 的 公司 是 否认 为 把 大 数 
据 与 其 他 数据 相 结 合 能 市 来 额外 的 价值 ? 你 的 公司 最 近 有 没有 尝试 过 一 
些 “ 狗 狂 的 ?分析 想 法 ? 如 果 没 有 创新 和 探索 的 企业 文化 ， 对 上 述 问 题 做 
出 肯定 回答 的 几率 将 大 大 减少 。 


























11.1.1 ”Crocs 和 Jibbitz 的 传说 





设想 一 下 与 发 明 Crocs 有 关 的 对 话 。 一 天 ， 某 人 说 : “我 有 一 个 很 好 
的 想法 ! 我 们 来 做 一 些 实心 橡胶 鞋 吧 。 它 们 外 观 并 不 是 特别 好 看 ， 售 价 
也 不 低 ， 但 人 们 还 是 喜欢 罕 着 它们 去 池塘 、 施 工场 地 等 地 方 。 此 外 ， 孩 
子 们 也 会 喜欢 这 样 的 鞋 ， 因 为 它们 即使 脏 了 也 没有 关系 ， 父 母 可 以 直接 
把 鞋 放 在 水 管 下 冲洗 干 滔 。” 许 多 公司 不 会 有 这 样 的 想法 ， 也 不 敢 全 力 
跟 进 这 个 方 同 。 多 数 人 都 无 法 相信 Crocs 能 取得 如 此 巨大 的 成 功 。 











再 来 考虑 Jibbitz。Jibbitz 的 发 明 人 有 一 双 Crocs 鞋 ， 并 且 发 现 “ 这 双 
Crocs 鞋 上 面 有 许多 小 孔 ， 也 许 我 可 以 发 明 某 种 东西 来 填充 这 些小 孔 ! 
我 会 做 一 些 绘 有 卡通 数字 、 标 志 或 其 他 日 党 物品 的 小 鞋 扣 来 填充 这 些小 
孔 。 我 敢 打赌 护 子 们 一 定 很 喜欢 把 这 些小 鞋 扣 安 在 鞋 子 上 以 彰显 个 性 。 
这 样 做 能 够 帮助 他 们 从 操场 上 的 四 双 红 色 Crocs 鞋 中 认 出 自己 的 鞋 。 这 
种 小 发 明 最 大 的 好 处 是 : 制造 所 需要 的 成 本 很 低 ， 但 我 们 可 以 给 每 个 小 
鞋 扣 定价 3 美元 、4 美 元 ， 也 许可 以 高 达 5 美 元 。 我 们 将 能 够 获取 暴利 ! ” 

如 果 换 成 是 你 ， 你 会 放 径 自己 的 日 常 工作， 把 积 蕾 投 到 这 个 有 风险 
的 领域 吗 ? 不 管 怎 样 ，Jibbitz 最 终 取得 了 巨大 的 成 功 。2005 年 ，Rich 
Schmelzer 和 Sheri Schmelzer 夫 妇 成 立 了 一 家 公司 销售 Jibbitz。 一 年 后 ， 
他 们 以 2000 万 美元 的 价格 把 公司 卖 给 了 生产 Crocs 的 公司 。 束 这 样 ， 他 
们 的 创新 成 功 了 ! 

40 年 前 ， 分 析 领 域 还 没有 面 癌 统计 和 分 析 的 软件 套件 。1976 年 ， 由 
北 卡 罗莱 纳 州立 大 学 赞助 的 SAS 软 件 项 目 获得 一 定 的 成 功 之 后 ， 儿 名 教 
授 辞 职 创立 了 SAS 研 究 所 。 该 公司 “致力 于 维护 并 进一步 开发 SAS”。 

-3 谁 能 想到 它 会 成 为 资产 数 十 亿美 元 的 大 企业 ， 在 多 年 来 的 无 数 分 析 
创新 活动 中 扮演 着 重要 角色 ? 


11.1.2 ”推动 创新 


思考 一 下 Jibbitz 的 成 功 需要 哪些 要 素 。Schmelzer 夫 妇 首 先 需 要 有 一 
个 填充 Crocs 鞋 孔 的 新 想法 ， 然 后 需要 坚信 自己 能 成 功 并 全 力 投 入 。 形 
成 Jibbitz 的 概念 距离 真正 制造 出 产品 以 及 进入 商店 销售 还 很 远 。 手 握 
2000 万 美元 时 ，Schmelzer 夫 妇 当 然 不 会 后 悔 他 们 所 选择 的 道路 。 

每 个 想法 都 会 像 Jibbitz 一 样 考 效 吗 ? 当然 不 会 。 这 就 是 创新 的 特性 。 
你 不 可 能 每 次 都 成 功 ， 失 败 没什么 。 但 问题 是 ， 如 果 不 尝 试 一 些 新 的 想 
法 ， 你 根本 不 可 能 获得 像 Jibbitz 这 样 的 收益 。 答 试 不 一 定 能 成 功 ， 但 为 


























了 成 功 必须 进行 尝试 。Schmelzer 夫 妇 成 功 了 ， 换 成 你 和 你 的 企业 也 会 
那样 做 吗 ? 


为 了 成 功 必须 尝试 

并 非 所 有 的 创新 都 会 成 功 。 尝 试 并 不 一 定 能 成 功 ， 但 如 果 不 尝 试 一 定 不 会 成 功 。 为 了 成 功 必 
须 进 行 尝试 ! 如 果 不 努 力 驾 驭 大 数据 ， 你 的 企业 就 不 可 能 实现 对 大 数据 的 驾驭， 也 不 会 意识 到 
大 数据 分 析 能 够 带 来 的 收益 。 

















你 和 你 的 公司 最 近 有 没有 做 一 些 与 高 级 分 析 和 大 数据 有 关 的 创新 性 
尝试 ? 员工 每 天 、 每 周 、 每 月 会 投入 多 少 精力 来 思考 新 的 分 析 方 法 ? 你 
的 公司 里 谁 负责 营造 创新 与 探索 的 文化 氛围 ? 如 果 不 清 楚 负 责 分 析 创 新 
的 人 是 谁 ， 那 么 企业 很 可 能 根本 就 没有 实质 性 的 分 析 创 新 。 这 是 因为 如 
条 没 有 人 明确 负责 这 件 事 ， 那 么 也 许 就 没有 人 会 为 此 做 准备 并 真正 去 实 
现 它 。 你 想 成 为 企业 中 使 用 分 析 推 动 * 下 一 件 大 事 ” 发 生 的 人 吗 ? 我 们 来 
探讨 一 下 该 怎样 去 做 。 


11.2 关键 原则 概述 


为 了 营造 发 现 的 文化 氛围 ， 产 生 创新 的 分 析 并 驾驭 大 数据 ， 必 须 遵 
人 循 以 下 三 条 关键 原则 。 

四 原则 1: 打破 思维 定 势 。 这 意味 看 突破 性 的 创新 不 是 简单 地 在 现 
有 概念 之 间 添 加 联系 ， 而 是 要 从 头 开始 ， 用 新 的 方式 做 事 。 

四 ”原则 2: 形成 连锁 反应 。 这 意味 看 最 理想 的 创新 应 该 允许 以 其 为 
基础 构建 其 他 的 创新 ， 即 使 事先 对 后 续 的 创新 没有 预期 或 者 计划 。 创 新 
引发 新 的 创新 ， 新 的 创新 又 引发 新 的 创新 ， 昧 积 下 来 的 连锁 反应 大 大 弱 
化 了 原始 创新 的 影响 。 

四 ”原则 3: 统一 行动 目标 。 企 业 的 领导 应 当 设 立 一 个 共同 愿景 ， 明 











确 目 标的 优先 级 ， 并 为 该 愿景 和 那些 优先 目标 设 定 一 定 的 奖金 。 只 有 形 
成 统一 的 行动 目标 ， 才 能 营造 出 创新 和 探索 的 文化 氛围 。 

这 些 原则 不 是 我 们 新 提出 的 ， 但 是 它们 很 重要 ， 值 得 我 们 不 断 地 回 
味 和 推 披 。 下 面 我 们 深入 探讨 一 下 这 些 公 知 的 原则 以 及 它们 在 大 数据 和 
高 级 分 析 领 域 的 应 用 ! 


11.2.1 原则 1: 打破 思维 定 势 


第 一 条 关键 原则 是 打破 思维 定 势 。 我 们 每 个 人 都 陷 在 一 种 思维 定 势 
， 个 体 、 团 队 以 及 公司 都 是 如 此 。 也 许 你 不 会 时 刻 感觉 到 这 种 思维 定 
势 ， 但 它 此 刻 就 在 你 身边 ， 它 包括 了 一 切 你 知道 目 己 能 做 和 不 能 做 的 事 
、 应 该 做 和 不 应 该 做 的 事情 、 能 办 成 和 不 能 办 成 的 事情 ， 以 及 你 知道 
自己 被 允许 做 和 不 被 允许 做 的 事情 。 你 的 思维 定 势 建 立 在 预算 、 经 验 、 
传统 、 技 能、 系统、 数据 可 用 性 和 其 他 许多 事情 的 基础 上 。 

从 茶 种 程度 上 讲 ， 这 些 思维 定 势 并 不 是 有 害 的 。 它 们 可 以 帮助 我 们 
集中 注意 力 ， 帮 助 我 们 搞定 事情 ， 在 日 常 工作 中 帮助 我 们 考虑 重要 的 实 
际 问题 。 但 是 如 果 你 觉得 这 些 思维 定 势 太 死板 ， 灵 活性 不 够 ， 那 你 束 遇 
到 有 诬 烦 了 。 如 果 不 能 经 常 挑 战 思 维 定 势 ， 它 们 会 逐渐 变 成 巨大 的 阻碍 。 
问题 的 关键 在 于 确定 你 不 是 故意 限制 你 自己 和 你 的 企业 。 

上 一 次 你 定义 了 哪些 能 做 和 哪些 不 能 做 、 哪 些 该 做 和 哪些 不 该 做 或 
者 哪些 能 被 企业 接受 和 哪些 不 能 被 企业 接受 的 思维 定 势 之 后 ， 一 切 有 什 
么 改变 吗 ? 你 上 一 次 思考 企业 使 用 现在 这 种 分 析 方 法 的 原因 是 在 什么 时 
候 ? 你 上 一 次 回顾 第 7 章 中 讨论 的 优秀 分 析 原 则 ， 以 确保 你 的 分 析 团 队 
没有 偏离 正确 轨道 是 在 什么 时 候 ? 你 上 一 次 考虑 像 我 们 在 第 5 草 和 第 6 章 
中 讨论 的 那样 更 新 流程 和 方法 是 在 什么 时 候 ? 你 上 一 次 更 新 系统 以 充分 
利用 第 4 章 中 讨论 的 当前 可 扩展 性 程度 是 在 什么 时 候 ? 


你 上 一 次 挑 成 目 己 的 思维 定 势 是 在 什么 时 候 
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根据 思维 定 势 做 事 不 见得 不 好 。 但 是 ， 你 必须 经 常 挑 战 你 的 思维 定 势 以 确认 之 前 的 限制 还 
在 。 否 则 ， 你 将 不 必要 地 约束 了 自己 。 尽 可 能 地 推进 到 能 力 范 围 的 真实 边界 而 不 是 假想 边界 。 
近年 来 ， 度 量 分 析 流 程 的 技术 进步 很 大 ， 许 多 企业 甚至 还 没有 意识 到 到 它们 错过 的 潜在 收益 。 











































































































公开 的 分 析 比 赛 是 分 析 领 域 近 来 的 一 个 趋势 。 在 这 些 比赛 中 ， 参 赛 
人 员 如 有 果 需 要 可 以 得 到 一 个 清除 了 敏感 信息 的 数据 集 。 所 需 的 模型 、 分 
析 类 型 以 及 获胜 的 标准 都 公开 张贴 了 出 来 。 在 比赛 的 最 后 ， 成 绩 最 好 的 
团队 将 说 得 奖金 。 世 界 各 地 的 专家 所 带 来 的 技术 有 可 能 帮助 组 织 者 摆脱 
目 身 思维 定 势 的 束缚 。 由 于 企业 外 部 的 人 员 不 会 受到 企业 内 部 思维 的 限 
制 ， 因 此 参赛 人 员 通 常 很 容易 获得 比 组 织 者 更 好 的 结果 。 

为 了 帮助 你 的 企业 打破 思维 定 势 ， 你 需要 让 员工 互相 提出 挑战 性 的 
问题 、 不 断 验 证 假设 ， 并 且 尽 可 能 地 推进 到 他 们 能 力 范围 的 真实 边界 而 
不 是 假想 边界 。 

1 人 仿 册 局 尾 

哥 白 尼 是 一 个 打破 思维 定 势 极 好 的 例子 。 在 15 世 纪 和 16 世 纪 ， 人 们 
普 衣 认为 地 球 是 太阳 系 的 中 心 。 哥 白 尼 通过 对 已 有 数据 的 分 析 ， 认 为 太 
阳 系 的 中 心 是 太阳 而 不 是 地 球 。 他 的 日 心 说 是 一 个 伟大 的 创新 ， 并 开辟 
了 天 文学 的 新 纪元 。 哥 白 尼 还 被 视 为 引发 科技 单 命 的 关键 人 物 。 这 场 科 
技 革 命 推翻 了 自古 希腊 以 来 就 开始 流行 的 理论 ，- 地 -为 建立 现代 科学 呐 
定 了 基础 。 

然而 ， 哥 白 尼 有 了 想法 之 后 ， 并 不 愿意 公开 发 表 。 他 明白 这 样 创新 
的 想法 会 引起 很 大 的 争议 。 旧 理论 认为 地 球 是 太阳 系 的 中 心 ， 这 是 错误 
的 。 他 的 新 理论 很 难 被 深 受 旧 理 论 影响 的 人 们 所 接受 。 

如 果 你 的 理论 基础 是 错误 的 ， 那 么 由 该 理论 所 得 出 的 结论 将 都 没有 
意义 。 哥 白 尼 的 例子 表明 ， 即 便 是 成 功 的 创新 也 不 并 总 古 能 够 立即 被 接 
受 的 。 哥 白 尼 花 了 很 多 年 的 时 间 才 将 他 的 发 现 公 之 于 众 ， 近 三 个 世纪 以 
后 他 的 理论 才 被 完全 接受 。 最 终 ， 他 创立 的 正确 理论 取得 了 胜利 。 妆 














然 ， 哥 白 尼 明白 地 球 仍然 是 太阳 系 中 的 一 个 重要 部 分 ， 只 不 过 不 是 太阳 
系 的 中 心 而 已 ， 而 说 地 球 不 是 中 心 并 不 意味 着 地 球 不 重要 。 











关注 人 ， 而 不 是 工具 
哥 白 尼 指出 太阳 系 的 中 心 是 太阳 而 不 是 地 球 。 今 天 ， 许 多 企业 把 焦点 放 在 技术 和 工具 上 ， 认 
为 它们 是 取得 分 析 成 功 的 核心 要 素 。 事 实 上 ， 成 功 的 核心 要 素 不 是 这 些 工具 和 技术 ， 而 是 使 用 
这 些 工 具 和 技术 的 人 。 如 果 不 能 关注 正确 的 模型 ， 成 功 将 会 受到 很 大 的 限制 。 












































商界 常见 的 一 个 错误 是 ， 企 业 往 往 把 数据 库 、 软 件 应 用 程序 等 工具 
视 为 高 级 分 析 生 态 系统 的 中 心 。 太 多 的 企业 喜欢 强调 它们 如 何 使 用 最 好 
的 工具 ， 或 者 为 员工 提供 了 最 好 的 软件 ， 或 者 运行 着 最 好 的 数据 库 。 这 
一 切 当 然 很 重要 ， 企 业 肯 定 能 够 从 最 好 的 工具 、 软 件 和 系统 中 受益 ， 因 
为 工具 和 技术 是 企业 分 析 创 新 能 力 的 关键 组 成 部 分 。 

但 是 ， 使 用 这 些 技术 带 来 商业 增长 的 是 什么 ?是 使 用 它们 的 人 及 其 
使 用 方式 ， 以 及 人 做 出 的 决策 。 我 们 在 第 8 章 和 第 9 章 中 讨论 过 ， 使 用 工 
具 、 软 件 和 系统 的 人 才 是 分 析 生 态 系 统 的 中 心 。 企 业 需 要 确保 把 正确 的 
工具 交 给 正确 的 人 ， 以 获得 正确 的 结果 。 如 果 只 有 最 强大 的 系统 和 最 复 
林 的 工具 而 没有 优秀 的 分 析 专 家 ， 和 驾驶 大 数据 也 是 不 可 能 的 。 

2. 应 用 原则 

今天 ， 如 果 一 家 企业 致力 于 创新 ， 那 么 分 析 对 它 来 说 就 是 一 个 关键 
部 分 。 最 近 ， 分 析 领 域 有 一 些 创新 。 如 果 企 业 想 打破 思维 定 势 、 驾 驭 大 
数据 ， 那 就 必须 充分 利用 这 些 创 新 。 其 中 一 项 创新 是 ， 通 过 库 内 分 析 技 
术 使 得 第 4 章 中 讨论 的 可 扩展 性 分 析 成 为 现实 。 与 其 他 的 许多 创新 一 
样 ，20 世 纪 90 年 代 最 初 支持 该 创新 的 人 们 付出 了 很 多 努力 。 包 括 工业 界 
人 士 在 内 的 许多 人 ， 最 初 对 这 一 概念 都 持 怀 疑 和 不 层 的 态度 。 

库 内 分 析 目 前 已 经 成 为 主流 ， 理 解 这 一 点 很 重要 。 全 球 各 行业 的 公 
司 都 已 经 认识 到 并 文档 化 了 因为 支持 库 内 分 析 所 带 来 的 速度 改进 。 与 传 

















统 方法 的 极限 速度 相 比 ， 运 行 分 析 流 程 的 速度 可 以 提高 40 倍 、50 倍 甚至 
100 倍 。 这 不 是 一 种 增 量 性 质 的 改进 ， 而 是 一 种 质 的 飞跃 。 今 天 ， 不 使 
用 库 内 分 析 的 人 简直 是 疡 了 。 花 几 分 钟 的 时 间 ， 你 就 可 以 用 因特网 搜 到 
讨论 各 家 公司 如 何 借助 库 内 分 析 ， 把 分 析 的 可 扩展 性 提升 到 了 一 个 新 层 
次 的 会 议 纪要 、 文 章 以 及 正式 的 实例 研究 。 一 个 类 似 的 有 趣 故 事 是 使 用 
MapReduce 进 行 开 发 ， 我 们 在 第 4 章 也 讨论 过 了 MapReduce。 

如 果 一 个 优秀 的 分 析 团 队 使 用 库 内 分 析 和 MapReduce， 那 么 他 们 的 
分 析 流 程 将 比 原先 快 好 几 十 倍 ， 想 象 一 下 他 们 聚焦 于 分 析 创 新 的 时 间 会 
比 以 前 多 多 少 吧 。 许 多 企业 甚至 直到 现在 还 没有 认识 到 获得 这 些 分 析 结 
果 是 可 能 的 ， 因 此 他 们 仍然 在 用 老 办 法 做 事 ， 仍 然 被 以 往 的 限制 约束 
着 ， 己 经 渐渐 被 范 争 抛 到 了 后 面 。 根 据 分 析 的 可 扩展 性 ， 能 做 的 事情 比 
以 前 更 多 了 ， 你 的 企业 应 该 充分 拓展 其 他 的 业务 。 


11.2.2 ”原则 2: 形成 连锁 反应 


如 果 你 不 能 冲破 思维 定 势 去 追求 创新 ， 那 么 形成 连锁 反应 是 不 可 能 
的 。 许 多 创新 本 身 的 影响 力 很 大 ， 但 检测 被 其 引发 的 新 的 创新 ， 其 影响 
力 变 得 更 加 惊人 。 第 二 条 原则 是 连锁 反应 ， 这 是 指数 级 的 创新 ! 

真正 的 创新 想法 第 第 会 引起 之 前 无 法 预见 的 其 他 突破 ， 这 些 突破 产 
生 的 影响 比 最 初 的 创新 还 要 大 。 创 新 的 未 来 潜在 影响 是 不 可 忽视 的 。 如 
果 不 重 视 今天 的 创新 ， 不 仅 会 失去 当前 立即 可 见 的 机 会 ， 还 会 失去 不 可 
胜 数 的 后 续 的 未 知 机 会 。 从 长 远 来 看 ， 过 早 地 否定 新 想法 或 者 不 重视 创 
新 所 各 来 的 损失 可 能 比 想象 中 要 大 很 多 。 我 们 来 看 儿 个 例子 。 


指数 级 的 机 遇 
创新 可 以 引发 一 系列 未 知 的 其 他 创新 ， 这 些 创新 会 产生 比 最 初创 新 更 大 的 影响 。 大 数据 就 是 
一 个 很 新 的 创新 ， 其 未 来 的 连锁 反应 仍然 是 不 可 预见 的 ， 但 肯定 会 引发 连锁 反应 。 不 要 因为 今 
天 没有 着 手 分 析 大 数据 而 错过 后 面 连锁 反应 所 带 来 的 机 会 。 










































































1， 从 电话 到 因特网 到 社交 媒体 

电话 彻底 改变 了 人 们 的 通信 方式 ， 对 社会 也 产生 了 巨大 的 影响 。 遍 
布 全 球 的 电话 线 的 作用 只 有 一 个 ， 那 就 是 使 两 个 人 能 够 拿 起 话 简 来 就 可 
以 进行 交谈 。 在 布 电话 线 的 时 候 ， 人 们 还 没有 更 宏伟 的 愿景 。 如 果 除 了 
方便 交谈 之 外 没有 其 他 的 需求 ， 电 话 现在 应 该 仍 是 历史 上 最 有 影响 力 的 
发 明之 一 。 

然而 ， 最 终 有 人 发 现 了 同样 的 这 些 线 可 以 传输 数据 。 最 初 传送 的 是 
类 似 传真 的 简单 数据 ， 而 最 终 调 制 解 调 器 的 使 用 开始 变 得 广泛 。 这 些 老 
式 的 电话 线 使 人 们 能 够 访问 早期 的 因特网 。 如 果 没 有 巨大 的 访问 流量 ， 
因特网 也 许 根本 就 不 会 存在 ， 至 少 不 会 发 展 得 这 么 快 。 巨 大 的 访问 流量 
导致 因特网 产生 了 扩张 需求 。 所 有 这 一 切 都 是 从 那些 简单 、 技 术 含量 低 
的 电话 线 开 始 的 。 因 特 网 是 连锁 反应 的 一 个 实例 ， 它 是 电话 连锁 反应 的 
产物 。 刚 开始 布 电话 线 的 时 候 ， 没 有 人 能 够 想到 那些 线 以 后 会 发 展 出 什 
么 新 用 途 ， 但 它们 的 新 用 途 最 终 使 用 得 相当 广泛 。 这 就 是 所 谓 的 连锁 反 
应 。 


从 电话 到 社会 化 媒体 到 分 析 

电话 是 通信 的 革新 。 电 话 线 后 来 在 因特网 的 兴起 中 扮演 了 非常 重要 的 角色 。 因 特 网 又 进一步 
派生 出 了 社交 媒体 ， 后 者 再 次 革新 了 我 们 的 通信 方式 。 想 象 一 下 ， 如 果 当 初 没有 那些 电话 线 ， 
我 们 今天 的 生活 会 多 么 不 同 ! 





































































































电话 的 连锁 反应 产生 了 因特网 ， 因 特 网 的 连锁 反应 使 其 自身 得 到 了 
巨大 的 发 展 。 甚 至 在 20 世 纪 90 年 代 中 期 ， 也 很 少 有 人 能 想象 到 因特网 玮 
来 的 所 有 这 些 创新 。 其 中 一 个 连锁 反应 是 电子 商务 的 爆发 ， 包 括 
Amazon、eBay、craigslist 等 打破 传统 商业 模式 公司 的 崛起 。 近 期 的 另 一 
个 连锁 反应 是 LinkedIn 和 Facebook 等 社交 网 络 站 点 的 兴起 ， 它 们 提供 了 
全 新 的 通信 和 社交 方式 。 令 人 啼笑 颖 非 的 是 ， 电 话 间 新 了 我 们 的 通信 方 














式 ， 然 后 电话 线 促 成 了 因特网 的 兴起 ， 接 独 因 特 网 通过 社交 巡 体 再 次 单 
新 了 我 们 的 通信 方式 。 

其 他 连锁 反应 的 例子 也 包括 了 多 人 联网 游戏 ， 该 游戏 允许 玩家 与 全 
球 的 其 他 玩家 在 虚拟 世界 中 实时 交互 。 另 一 个 例子 是 具有 GPS 功能 的 手 
机 ， 它 能 够 告诉 你 当前 位 置 方圆 1 英里 之 内 有 哪些 中 餐馆 ， 并 能 够 立即 
进行 预订 。 下 一 个 是 什么 呢 ? 现在 已 经 有 人 在 考 夸 了 。 

因特网 生成 的 数据 已 经 彻底 改变 了 分 析 ， 以 后 还 将 继续 改变 。 正 如 
第 2 章 中 所 讨论 的 ， 对 网 络 行为 的 分 析 越 来 越 多 ， 并 且 我 们 已 经 从 中 获 
荔 。 对 社交 媒体 评论 的 分 析 是 因特网 孕育 出 的 另 一 个 新 分 析 方 法 。 因 特 
网 使 用 户 获 益 恨 多 ， 它 所 生成 的 数据 对 分 析 的 研究 方式 和 过 程 的 建立 也 
有 着 巨 大 的 影响 。100 多 年 前 刚刚 开始 布 电话 线 时 ， 没 有 人 能 够 想到 可 
以 对 社交 媒体 网 站 的 评论 进行 文本 分 析 ， 但 这 个 时 代 已 经 到 来 。 

2. 社交 网 络 分 析 

近年 来 分 析 创 新 中 还 有 一 种 连锁 反应 ， 那 就 是 在 电信 公司 中 兴起 的 
社交 网 络 分 析 。 它 改变 了 管理 客 忆 的 方式 ， 我 们 在 第 3 章 中 讨论 过 这 一 
所。 多 年 来 ， 电 信 公 司 收集 了 每 个 客户 每 次 通话 的 详细 信息 。 收 集 这 一 
言 恩 的 主要 目的 是 什么 ? 为 了 计 费 。 没 有 比 这 更 有 趣 的 了 ， 时 隅 多 年 ， 
这 一 数据 还 可 以 用 于 计 费 之 外 的 各 种 分 析 。 

随 着 计算 能 力 的 提高 和 库 内 分 析 技 术 的 兴起 ， 电 信人 公司 开 始 认真 研 
完 每 个 客户 拥有 的 联系 人 网 络 。 哪 些 客 户 处 于 相互 通话 的 一 个 大 圈子 之 
中 ? 哪些 客户 只 在 亲近 的 亲属 间 这 样 很 小 的 范围 内 通话 ? 这 样 的 分 析 不 
仅 从 社区 动态 的 角度 看 是 有 意义 的 ， 而 且 还 可 以 用 于 提高 维系 和 发 展 客 
户 的 有 效 性 。 

为 什么 能 这 样 做 呢 ? 实践 表明 ， 一 旦 一 个 圈子 中 的 关键 成 员 “ 产 
逃 ?成 为 了 另 一 家 公司 的 客户 ， 圈 子 里 面 的 其 他 成 员 发 生 “ 叛 逃 ” 的 可 能 
性 会 非 第 大 ， 因 为 他 们 会 奶 随 以 前 的 领导 者 。 了 解 客 尸 的 完整 影响 力 而 
不 仅仅 是 他 她) 的 个 体 价值 ， 有 助 于 帮助 公司 确定 需要 花费 多 大 的 精 


















































力 来 挖掘 、 维 系 以 及 奖励 某 一 个 客户 。 及 早 与 存在 风险 的 圈子 中 的 成 员 
进行 接触 ， 有 助 于 避免 一 连 串 客户 流失 的 现象 。 为 了 留 住 大 圈子 中 的 客 
户 ， 可 以 给 出 比 基 于 他 们 个 人 消费 水 平 的 担保 更 加 优惠 的 条 件 。 这 样 的 
分 析 在 分 析 专 家 了 解 可 扩展 性 之 前 并 不 可 行 ， 它 是 收集 用 于 计 费 的 通话 
详细 记录 所 引起 的 连锁 反应 。 

3. 应 用 原则 

现在 的 问题 变 成 了 ， 企 业 怎 样 才能 形成 自己 的 连锁 反应 ? 一 旦 你 的 
企业 拥有 了 能 够 帮助 打破 思维 定 势 的 库 内 分 析 、MapReduce 和 大 数据 ， 
那 就 可 以 考虑 引发 连锁 反应 了 。 这 种 连锁 反应 是 由 最 初 的 库 内 分 析 引 发 
的 。 





形成 目 己 的 连锁 反应 

当 企 业 开 始 成 功 地 营造 出 创新 和 探索 的 文化 氛围 时 ， 创 新 的 步伐 会 加 大 。 男 一 个 好 处 是 ， 根 
据 以 往 的 创新 经 验 ， 识 别 连锁 反应 的 能 力 会 增强 。 今 天 收集 的 大 数据 源 ， 或 者 明天 将 要 建立 的 
分 析 流 程 ， 都 很 可 能 在 未 来 产生 很 大 的 影 啊 。 














库 内 分 析 和 MapReduce 的 创新 引起 了 分 析 创 新 的 连锁 反应 ， 但 这 一 
切 才刚 刚 开始 。 由 于 这 些 方法 提供 了 额外 的 空间 和 层级 ， 还 有 哪些 以 前 
不 能 做 但 现在 可 以 做 的 事情 呢 ? 由 于 具有 了 罗 驭 新 的 大 数据 源 的 能 
现在 可 以 使 用 什么 样 的 新 分 析 ? 企业 不 应 该 把 目光 停 在 提升 速度 上 ， 还 
要 开始 寻找 以 前 不 能 使 用 而 现在 可 以 使 用 的 新 分 析 ， 并 重新 定义 思维 定 
势 的 约束 。 

随 着 数据 源 、 分 析 方 法 和 可 扩展 性 的 日 益 成 熟 ， 连 锁 反 应 开始 跨行 
业 产 生 影 响 。 零 售 商店 动 忠 城 度 计 划 对 老 客 户 进行 回 镇， 产生 的 数据 使 
商店 从 以 产品 为 中 心 转 问 以 客户 为 中 心 。 信 用 积分 背后 的 数据 和 分 析 则 
彻 确 改变 了 金融 业 。 信 用 模型 的 精度 和 可 用 数据 的 有 效 性 发 现 了 每 种 类 
型 的 客户 可 选 的 金融 产品 与 服务 范围 都 较为 稳定 。 针 对 客服 对 话 的 文本 








分 析 才 刚刚 开始 影响 很 多 行业 。 无 论 是 数据 、 分 析 数 据 的 工具 还 是 所 需 
的 可 扩展 性 系统 ， 都 是 直到 最 近 才 变 得 可 用 。 

如 条 只 是 模仿 头号 竞争 对 手 们 成 功 做 过 的 事情 ， 企 业 将 无 法 在 竞争 
中 胜出 。 应 该 做 没有 人 做 过 的 事情 ， 做 的 时 候 不 仅 要 考虑 短期 的 影响 ， 
还 要 兼顾 未 来 可 能 引发 的 连锁 反应 。 如 果 大 数据 现在 能 提高 工作 效率 ， 
想象 一 下 一 旦 连锁 反应 被 触 太 ， 工 作 效 率 将 会 有 多 高 。 


11.2.3 ”原则 3: 统一 行动 目标 


为 了 促使 企业 打破 思维 定 势 并 有 效 地 形成 连锁 反应 ， 管 理 层 必须 统 
一 全 体 工作 人 员 的 行动 目标 ， 这 是 第 三 条 原则 。 没 有 统一 的 目标 ， 企 业 
将 无 法 取得 成 功 。 这 一 条 在 许多 两 业 文 件 中 都 被 视 为 普 衣 性 的 成 功 因 
素 ， 也 适用 于 局 级 分 析 和 大 数据 。 行 动 目标 需要 在 整个 组 织 、 每 个 部 门 
以 及 每 个 团队 内 进行 统一 。 为 了 统一 行动 目标 ， 必 须 遵循 以 下 步骤 。 

步骤 1: 企业 必须 在 内 部 共享 一 个 共同 的 愿景 ， 并 告知 努力 的 方 癌 。 

步骤 2: 企业 必须 非常 清楚 ， 为 了 达成 该 愿景 ， 哪 些 目标 需要 优先 。 

步骤 3: 企业 的 员工 必须 理解 实现 目标 后 自己 所 能 获得 的 回报 。 

确定 正确 的 目标 不 容易 ， 在 企业 内 部 推广 愿景 也 并 非 易 事 ， 使 企业 
确定 一 个 新 的 优先 目标 并 为 之 奋斗 更 不 容易 。 改 变 团 队 和 个 人 的 思维 与 
行为 方式 不 是 一 朝 一 夕 能 完成 的 ， 有 很 多 必须 克服 的 困难 。 营 造 创 新 和 
探索 的 文化 氛围 需要 付出 努力 ， 最 后 ， 成 功 时 发 放 的 奖金 才 可 能 很 多 。 

1. 设立 共同 的 愿景 

为 什么 团队 有 一 个 共享 的 共同 愿景 ， 并 理解 愿景 的 由 来 很 重要 呢 ? 
想象 有 两 个 忙 着 浇筑 新 房 地 基 的 工人 ， 他 们 相互 问 道 : “你 在 干 什 
么 ? ”第 一 个 人 回答 :“ 我 在 用 水 泥 浇筑 这 些 模子 来 建造 一 墙 承重 
墙 。” 第 二 个 人 回答 : “我 在 辣 房 子 。” 

为 什么 答案 很 重要 ? 当 一 天 结束 后 ， 他 们 只 建成 了 一 堵 承 重 增 ， 对 























吧 ? 既然 一 天 结束 后 他 们 都 完成 了 砌 墙 工 作 ， 那 我 们 为 什么 还 要 那么 在 
意 他 们 是 如 何 看 竺 工作 任务 的 呢 ? 这 是 因为 ， 如 果 没 有 较 大 的 愿景 ， 就 
不 可 能 实现 成 功 的 创新 ， 就 会 导致 许多 人 “每 天 砌 一 堵 寺 ”。 

在 我 们 的 例子 中 ， 认 为 他 自己 只 是 在 一 个 地 方 砌 墙 的 那个 人 缺乏 较 
大 的 愿景 ， 他 不 知道 为 什么 砌 这 墙 墙 很 重要 ， 也 不 知道 这 墙 墙 将 如 何 融 
入 到 整个 房子 中 。 第 二 个 人 有 着 较 大 的 愿景 ， 在 处 理 无 法 避免 和 预期 的 
问题 时 会 做 得 更 好 。 他 能 够 确保 他 被 迫 对 计划 做 出 的 任何 调整 不 仅仅 是 
为 了 在 某 一 天 某 个 地 方 砌 了 一 堵 才 ， 而 是 砌 了 一 堵 墙 在 某 个 地 方 ， 并 可 
以 在 其 基础 上 兰 一 座 房子 。 绝 对 有 必要 花 时 间 确 认 人 们 不 仅 理 解 了 今天 
的 具体 任务 ， 而 且 明 白 那 些 任务 如 何 融入 更 大 的 愿景 

上 面 浇筑 房子 地 基 的 例子 中 济 步 及 的 原则 也 适用 于 做 分 析 。 分 析 专 家 
经 常 需要 在 没有 太 多 指导 和 看 法 时 进行 分 析 。 分 析 专 家 快速 运行 了 一 串 
数字 ， 得 到 了 一 个 详细 的 分 析 和 一 些 非 常 合 理 有 效 的 结果 。 Te 
最 初 提出 分 析 需 求 的 那个 人 认为 这 根本 不 是 他 所 需要 的 结果 。 原 因 通 
和 es 
专家 只 能 严格 按照 对 方 的 要 求 去 做 ， 因 为 不 知道 对 方 到 底 需 要 什么 、 为 
什么 需要 。 著 名 作家 和 演讲 家 Stephen Covey 写 过 《高 效 0 
贯 》 一 书 ， 其 中 一 个 习惯 就 是 “从 一 开始 就 把 结果 放 在 心 上 ”。-5 
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必须 告诉 分 析 专 家 你 的 愿景 
如 果 企业 想 成 功 地 驾驭 大 数据 ， 它 的 分 析 专 家 需要 有 一 个 前 进 方向 的 愿景 。 否 则 ， 就 会 产生 

















许多 有 趣 的 分 析 ， 但 对 生意 却 毫 无 帮助 。 分 析 专 家 不 应 该 被 按 周 分 配 分 析 任务 ， 而 应 该 被 提供 
一 个 长 期 的 工作 愿景 。 








轨 驭 大 数据 的 第 一 个 步骤 不 应 该 是 简单 地 让 分 析 专 家 解决 现 有 的 问 
题 。 计 划 中 当然 可 以 包含 一 些 无 限制 的 探索 ， 但 不 能 只 包含 这 些 。 讨 论 
数据 的 用 途 和 可 能 对 生意 会 有 什么 帮助 也 很 重要 。 新 数据 可 能 会 对 哪些 











有 共 体 领域 有 所 帮助 ? 它 可 能 会 改变 哪些 决策 ” 理解 这 些 问 题 将 有 助 于 帮 
助 分 析 专 家 确定 正确 的 方 回 。 

例如 ， 第 3 草 中 讨论 的 不 能 让 分 析 专 家 没有 限制 地 分 析 视 频 游 戏 遥 测 
数据 。 首 先 应 该 讨论 的 是 游戏 中 很 重要 的 微型 交易 类 型 ， 然 后 应 当 告诉 
分 析 专 家 可 以 对 玩家 最 喜爱 游戏 的 哪些 部 分 进行 研究 ， 还 应 该 评论 一 下 
怎样 做 有 可 能 获得 更 好 的 或 者 不 同 的 商业 效果 。 这 样 的 附加 观点 和 愿景 
将 大 大 加 快 分 析 专 家 获得 业务 人 员 所 需 结 果 的 速度 。 

你 的 企业 文化 是 让 员工 觉得 自己 在 特定 的 地 点 砌 墙 呢 ， 还 是 让 他 们 
‘得 自己 在 盖 房 子 呢 ?人 们 是 被 玛 励 提问 并 理解 愿景 ， 还 是 被 或 励 去 完 
成 分 配 的 任务 呢 ?” 你 的 团队 中 谁 更 像 是 在 砌 墙 而 不 是 在 盖 房 子 ? 为 了 使 
团队 能 做 所 需要 做 的 事情 ， 需 要 做 出 什么 改变 吗 ? 

2. 制定 明确 的 优先 目标 

企业 成 功 不 可 或 缺 的 另 一 个 要 又 是 对 优先 目标 的 明确 理解 。 如 前 所 
述 ， 第 一 步 是 定义 愿景 ， 明 确 努 力 的 方向 。 接 下 来 就 需要 制定 明确 的 优 
先 目标 ， 来 说 明 如 何 达成 愿景 。 优 先 目标 的 选择 对 团队 为 达成 愿景 所 采 
用 的 战略 和 战术 有 非常 大 的 有 影响。 例如， 优先 目标 是 成 为 行业 内 最 大 的 
公司 ? 或 者 是 拥有 很 高 的 客户 满意 度 ， 建 立 强大 的 客户 基础 ? 或 者 是 获 
得 最 高 的 利润 率 ? 或 者 是 获得 最 低 的 损耗 率 ? 

不 同 的 优先 目标 所 需要 的 战略 不 同 ， 产 生 的 结果 也 不 同 ， 如 客户 数 
量 、 客 户 价 值 、 总 收入 、 利 润 等 。 这 当然 也 会 彻底 改变 所 需 分 析 的 焦点 
和 沪 围 。 考 虑 到 营造 创新 和 探索 的 文化 氛围 所 需 的 资源 和 时 间 ， 企 业 需 
要 确保 每 个 人 都 有 着 同一 个 目标 ， 并 且 从 一 开始 就 问 独 同样 的 优先 目标 
前 进 。 

同事 有 个 朋友 所 开 的 一 家 餐馆 提供 的 优惠 时 段 倘 略 非常 成 功 。 和 人们 
可 以 在 优惠 时 段 来 购买 便宜 的 饮料 ， 但 除了 把 餐馆 用 作 购 买 便宜 饮料 的 
地 点 之 外 ， 优 惠 时 段 与 餐馆 并 无 其 他 联系 。 如 果 在 同一 条 街 上 出 现 了 拥 
有 更 便宜 的 饮料 和 更 新 潮 室内 装修 的 另 一 家 酒吧 ， 会 出 现 什么 情况 ? 和 餐 
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馆 的 主人 会 开始 怀疑 自己 的 优先 目标 是 不 是 正确 。 

餐馆 老板 做 了 一 个 实验 。 他 为 任何 顾客 举办 人 免费 的 生日 派对 ， 每 场 
生日 派对 为 寿星 和 最 多 10 名 宾客 提供 免费 的 食物 和 饮料 。 但 是 有 一 个 条 
件 ! 过 生日 的 男孩 或 者 女孩 必须 加 入 餐馆 在 Facebook 上 的 粉丝 俱乐部 ， 
并 至 少 要 介绍 一 定数 量 的 朋友 加 入 该 粉丝 俱乐部 。 此 外 ， 过 生日 的 男孩 
或 者 女孩 必须 提供 餐馆 之 前 没有 的 、 一 定数 量 朋 友 的 姓名 和 电子 邮件 地 
Es 

这 个 想法 取得 了 巨大 的 成 功 。 参 加 过 生日 派对 的 人 都 希望 在 这 里 举 
办 他 们 自己 的 生日 派对 。 同 时 ， 和 餐馆 的 联系 人 数据 库 呈 指数 级 别 增长 。 
最 终 ， 和 餐馆 主人 停止 了 饮料 的 优惠 时 段 ， 专 心 提 供 生 日 派对 服务 。 他 和 希 
望 拥有 一 批 因 为 他 的 独 有 服务 而 自愿 留 下 的 忠实 客户 ， 而 不 再 简单 地 项 
望 通过 便宜 的 饮料 来 拉拢 一 大 群 人 。 

如 果 没 有 电子 邮件 和 Facebook， 这 个 例子 束 不 可 行 了 ， 因 为 它 是 上 
述 创新 连锁 反应 的 产物 。 和 餐馆 主人 打破 了 他 自己 的 思维 定 势 ， 为 自己 确 
立 了 新 的 目标 并 为 之 努力 。 他 的 竞争 对 手 仍 然 月 复 一 月 地 销售 饮料 。 他 
把 精力 集中 在 获取 忠实 客户 的 基础 上 ， 客 户 每 年 都 会 增加 ， 因 为 人 们 每 
年 都 要 过 和 生日。 优先 目 标的 改变 使 他 选择 了 一 个 非常 不 同 的 方向 ， 但 也 
引领 他 走 同 了 成 功 。 


在 什么 方面 成 为 最 好 
许多 企业 希望 在 它们 的 领域 内 做 到 最 好 。 但 “最 好 ”应 该 怎样 定义 呢 ? 定义 “最 好 ?的 方式 很 
多 ， 搞 清楚 其 定义 很 重要 。 接 下 来 ， 必 须 明确 为 了 成 为 所 定义 的 最 好 ， 需 要 制定 哪些 优先 目 
标 ， 否 则 就 无 法 持续 努力 ， 成 功 也 变 得 艰难 。 根 据 成 为 最 好 的 目标 衡量 标准 和 任务 的 不 同 ， 所 
需 的 分 析 也 应 该 有 所 改变 。 





































































































类 似 地 ， 每 个 企业 都 需要 检查 其 优先 目标 。 假 设 茶 个 企业 决定 对 客 
服 电 子 邮 件 和 社会 媒体 评论 进行 文本 分 析 。 最 关键 的 竺 解决 问题 是 什 


么 ?理解 评论 中 的 大 众 观 点 是 优先 目标 吗 ? 识别 出 需要 注意 的 特定 个 体 
古 优先 目标 吗 ? 识别 出 产品 被 讨论 的 频率 趋势 是 优先 目标 吗 ? 文本 分 析 
有 许多 不 同 的 方向 ， 如 宁 没 有 明确 的 优先 目标 文本 分 析 将 很 难 成 功 。 

3. 为 愿景 和 优先 目标 绑 定 奖金 

确保 团队 知道 自己 的 薪酬 至 关 重 要 。 收 入 水 平 对 工作 有 着 或 好 或 坏 
的 巨大 影响 。 企 业 需 要 确保 团队 张 动 分 析 创 新 后 会 得 到 奖金 和 升 职 ， 个 
则 很 难产 生 创新 。 同 时 ， 要 意识 到 奖金 方案 真 的 会 对 创新 所 需 的 行为 产 
生 影 响 ， 弄 得 不 好 会 造成 工作 的 不 连 喧 ， 进 而 导致 完全 无 法 预测 或 者 不 
希望 看 到 的 后 果 。 

前 不 久 ， 一 家 大 型 连锁 杂货 店 与 一 家 大 型 软饮料 三 商 合 作 发 起 了 一 
次 大 规模 促销 活动 。 商 店 经 理 们 被 告知 他 们 将 根据 折扣 期 间 店铺 中 软 饮 
料 的 销量 获得 奖金 。 其 中 有 一 家 店铺 售 出 的 软饮料 数量 多 得 惊人 ， 远 远 
超出 了 连锁 店 的 其 他 任何 店铺 ， 有 人 决定 调查 一 下 这 家 店铺 业绩 这 么 好 
的 原因 。 

猜 猜 我 们 从 中 了 解 到 了 什么 ? 销量 最 好 的 这 家 店铺 的 经 理 跟 本 地 一 
些 有 竞争 关系 的 商店 经 理 是 朋友 关系 。 具 有 讽刺 意味 的 是 ， 由 于 是 亏本 
出 售 ， 他 卖 出 的 价格 比 有 竞争 关系 的 商店 进货 的 价格 还 要 低 。 节 终 的 结 
果 是 ， 这 个 经 理 实际 上 在 码 尖 成 批 的 把 饮料 卖 给 了 竞争 对 手 ! 当然 ， 这 
些 销量 对 他 的 雇主 来 说 是 一 种 损失 ， 但 是 使 他 在 连锁 店 的 竞争 中 获胜 
了 。 这 听 起 来 很 装 狂 ， 不 是 吗 ? 


人 们 会 根据 激励 做 事 

如 果 采 取 的 激励 政策 不 合理 ， 当 雇员 通过 意料 之 外 的 方式 获得 这 些 激励 时 企业 没有 理由 发 
遍 。 一 些 最 优秀 、 最 具有 创新 性 的 雇员 可 能 会 通过 意料 之 外 的 行为 获得 他 们 的 奖金 。 请 确保 你 
的 激励 政策 能 针对 正确 的 问题 引发 正确 类 型 的 分 析 创 新 ， 而 不 是 赁 空想 出 的 新 分 析 方 法 。 












































































































































软饮料 例子 中 的 那个 商店 经 理 不 诚实 吗 ? 这 真 的 很 难说 。 他 也 许 不 


诚实 ， 但 未 必 真 的 如 此 。 这 个 经 理 被 告知 他 的 优先 任务 是 销售 尽 可 能 
的 软饮料 。 如 果 他 从 字面 上 理解 这 一 目标 ， 并 且 没 人 给 他 更 大 的 愿景 ， 
那么 他 就 不 一 定 是 不 诚实 了 ， 相 反 他 实际 上 非常 有 创意 ， 因 为 他 发 现 了 
一 种 能 使 软饮料 销量 高 于 其 他 任何 人 的 创新 方法 。 

可 以 说 ， 这 名 商店 经 理 正 是 企业 所 需要 的 那 种 雇员 。 他 专注 于 自己 
的 目标 ， 他 在 达成 目标 的 过 程 中 展现 出 了 相当 的 创意 ， 他 击败 了 所 有 其 
他 对 手 。 连 锁 店 管理 层 碰巧 设 定 了 一 种 场景 ， 使 他 受到 激励 做 了 一 件 不 
合理 的 事情 。 一 旦 这 名 雇员 的 能 力 和 创意 被 更 合理 的 激励 所 引导 ， 他 很 
可 能 会 形成 很 大 的 正面 影响 。 

在 分 析 领 域 ， 根 据 产 出 模型 的 数量 提供 奖金 可 能 会 导致 出 现 许多 完 
全 没 用 的 模型 。 最 好 能 根据 模型 的 影响 提供 奖金 。 模 型 构建 得 越 好 ， 奖 
金 越 多 。 质 量 的 优先 级 应 高 于 数量 。 如 果 为 在 新 的 大 数据 源 中 寻找 机 会 
而 提供 奖金 ， 不 要 局 限于 企业 所 研究 的 领域 。 也 许 许 多 原始 的 分 析 想 法 
都 不 够 理想 ， 但 在 其 他 一 些 项 目 中 ， 这 些 想 法 的 效果 还 不 错 。 奖 金 应 该 
基于 发 现 的 价值 ， 而 不 是 发 现 的 某 个 具体 问题 的 价值 。 否 则 ， 分 析 专 家 
也 许 会 花 过 多 的 时 间 在 低 价值 的 问题 上 以 便 获取 奖金 。 

4. 应 用 原则 

你 的 企业 需要 对 设立 的 愿景 、 优 先 目标 和 激励 进行 检查 ， 并 不 断 地 
重复 检查 和 验证 以 确保 它们 是 恰当 的 、 彼 此 一 致 的 。 根 据 一 时 的 兴致 改 
变 方向 是 不 可 取 的 。 然 而 ， 如 果 愿 景 、 优 先 目标 或 者 奖金 方案 不 合理 ， 
情况 跟 当 初 没有 这 些 东西 将 一 样 糟糕 。 抓 注 一 掷 不 是 一 个 好 办 法 ， 就 算 
整个 团队 一 致 认为 应 该 这 么 干 也 是 如 此 ! 

回 到 库 内 分 析 和 MapReduce 的 例子 ， 假 定 有 一 家 企业 决定 使 用 它们 
来 提高 分 析 能 力 并 敬 驭 大 数据 。 首 先 应 该 做 什么 ?分 析 团 队 应 当 把 分 析 
挪 到 数据 库 中 ， 并 在 已 经 确定 的 日 期 之 前 实现 MapReduce 环 境 。 还 需要 
建立 一 个 如 何 改 进 企业 的 分 析 流 程 使 其 能 处 理 大 数据 的 愿景 。 应 该 设立 
一 些 明确 的 优先 目标 告知 哪些 领域 应 该 被 首先 关注 。 然 后 把 任务 和 奖金 






































绑 定 起 来 以 实现 愿景 ， 团 队 就 能 够 按 计 划 行 事 了 。 

你 的 企业 需要 分 析 团 队 提 供 一 些 不 同 的 、 创 新 性 的 、 之 前 从 未 尝试 
过 的 分 析 方 法 ， 这 些 方法 应 该 是 在 现 有 分 析 思 维 定 势 下 所 没有 的 。 然 后 
你 将 看 到 一 些 结果 。 但 是 如 果 这 只 是 一 种 建议 、 一 种 需求 、 一 种 愿望 ， 
bp 么 它 就 不 可 能 实现 了 。 企 业 必 须 统 一 行动 目标 才能 获得 成 功 。 





Pe 


| 


11.3 ”本 章 小 结 


以 下 是 本 章 的 重点 内 容 。 

四 ”如 采 不 努力 要 驭 大 数据 ， 你 的 企业 是 不 可 能 征服 它 的 。 为 了 成 功 
必须 进行 尝试 ! 对 大 数据 尝试 使 用 新 的 分 析 方 法 吧 ! 

四 ”有 三 条 广 为 应 用 的 原则 ， 它 们 也 同样 适用 于 局 级 分 析 和 大 数据 。 
它们 是 : (1) 打破 思维 定 势 ，〈(2) 形成 连锁 反应 ; (3) 统一 行动 目 
标 。 

四 ”根据 思维 定 势 做 事 不 见得 不 好 。 但 是 ， 你 必须 经 常 挑战 你 的 思维 
定 势 以 确认 之 前 的 限制 ， 这 样 才 能 避免 不 必要 地 约束 了 目 己 。 

四 ”成 功 分 析 的 关键 不 是 工具 和 技术 本 号 ， 使 用 这 些 工 具 和 技术 的 人 
才 是 取得 成 功 的 核心 要 系 。 

四 ”大 数据 是 一 个 很 新 的 创新 ， 其 未 来 的 连锁 反应 仍然 是 不 可 预见 
的 。 不 要 因为 今天 没有 大 手 分 析 大 数据 而 错过 后 面 连锁 反应 所 带 来 的 机 


会 。 


四 ”不 要 把 目光 集中 在 提升 速度 上 ， 还 要 开始 寻找 以 前 不 能 使 用 而 现 
在 可 以 使 用 的 新 分 析 。 

四 ”对 分 析 专 家 不 应 该 按 周 分 配 分 析 任 务 ， 而 应 该 提供 长 期 的 工作 愿 
景 。 这 将 使 他 们 能 够 把 精力 更 多 地 集中 在 目标 上 。 

四 ”为 目标 设 定 优先 级 对 为 达成 愿景 所 采用 的 战略 和 成 术 有 非常 大 的 
影响 。 确 保 在 分 析 开 始 之 前 已 经 有 了 明确 的 优先 目标 。 














四 ”为 获得 正确 的 结果 可 设 定 一 些 激 励 政 策 。 最 好 能 根据 产 出 模型 的 
影 啊 而 不 是 模型 的 数量 提供 奖金 。 

四 ”开始 行动 吧 ， 共 同 营造 创新 和 探索 的 文化 氛围 ! 你 的 企业 需 
人 领导 大 家 从 事 创新 分 析 研 究 并 驾驭 大 数据 。 这 个 人 难道 不 应 该 是 
吗 ? 
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注释 
下 Merriam-Webster, "Innovation," www.merriam-webster.com/dictionary/innovation. 


2 Think Geek, www .thinkgeek.com/geektoys/cubegoodies/c208/. 


3 SAS, www.sas.com/company/about/history.html. 

















4 新 世界 百科 全 书 ， "Copernicus， Nicolaus," 
www.newworldencyclopedia.org/entry/Nicolaus_Copernicus。 


(5) Stephen R. Covey, www.stephencovey.com/7habits/7habits-habit2.php. 


结论 : 再 敢 想 一 些 


你 终于 看 完了 这 本 书 ! 现在 ， 你 了 解 了 大 数据 是 什么 ， 知 道 轨 奴 大 
数据 所 需 的 工具 、 流 程 和 方法 。 你 了 解 了 如 何 做 一 个 优质 分 析 ， 明 白 了 
执行 一 个 优质 分 析 所 需 的 人 员 和 团队 。 你 还 了 解 了 如 何 通 过 分 析 创 新 中 
心 和 创新 探索 的 企业 文化 来 激发 分 析 创 新 能 

在 我 们 曾 述 驾驭 大 数据 浪潮 的 过 程 中 ， 我 们 介绍 了 许多 理论 ， 以 及 
如 何 应 用 这 些 理 论 来 改进 企业 的 分 析 和 业务 。 不 管 你 拥有 何 种 背景 ， 我 
们 都 希望 你 通过 阅读 本 书 学 习 到 了 许多 有 用 的 知识 ， 并 能 将 所 学 知识 应 
用 到 你 的 企业 中 。 

最 后 ， 再 强调 一 些 关 键 内 容 ， 以 及 你 可 以 采取 的 措施 。 

四 ”大 数据 是 真实 的 ， 它 就 在 你 身边 。 既 不 要 忽视 大 数据 ， 也 不 要 害 
怕 它 。 将 大 数据 整合 到 你 的 企业 数据 中 ， 并 制定 包含 大 数据 的 企业 分 析 
战略 。 通 过 使 用 大 数据 来 获得 企业 的 竞争 优势 。 

四 ”分 析 的 可 扩展 性 比 从 前 更 加 重要 。 确 保 你 的 企业 升级 了 这 些 最 常 
用 的 技术 ， 包 括 库 内 分 析 、MapReduce 以 及 云 计算 。 

中 ”你 需要 新 的 分 析 流 程 。 使 用 分 析 沙 箱 、 企 业 分 析 数 据 集 以 及 岗 入 
式 评分 等 工具 来 获得 具有 更 快 、 更 好 扩展 性 的 高 级 分 析 流 程 。 

四 ”实施 新 的 分 析 技 术 ， 如 文本 分 析 、 组 合 模型 分 析 以 及 简易 模型 分 
析 等 。 对 于 新 的 大 数据 源 ， 不 能 再 使 用 传统 的 分 析 技 术 。 

上 ”下 奴 大 数据 需要 拥有 合适 技能 的 分 析 专 家 。 一 个 伟大 的 分 析 专 
家 ， 不 管 他 们 是 叫做 分 析 专 家 还 是 数据 科学 家 ， 都 必须 拥有 以 下 技能 : 
承 诡 、 创 造 力 、 商 业 头 脑 、 演 讲 能 力 以 及 直觉。 你 需要 招聘 拥有 这 些 特 
质 的 人 。 

四” 分 析 团 队 有 多 种 组 织 形式 ， 关 键 在 于 确保 做 决策 的 人 能 够 获得 他 


所 需要 的 信息 。 




















四 ”创建 一 个 分 析 创 新 中 心 将 帮助 你 吕 奴 大 数据 ， 并 创造 出 一 种 创新 
发 现 的 企业 文化 。 这 些 会 使 四 驭 大 数据 的 过 程 变 得 更 加 得 心 应 手 。 

让 数据 说 话 ， 让 数据 驱动 决策 ， 这 些 观点 已 经 被 人 们 普 衣 接受 了 。 
可 以 驱动 决策 的 数据 源 和 高 级 分 析 方 法 越 来 越 多 ， 大 数据 就 是 这 样 一 种 
新 数据 源 ， 其 实 它 一 点 儿 也 不 可 怕 。 企 业 需 要 立刻 行动 起 来 ， 没 有 任何 
理由 可 以 拖延 开始 使 用 大 数据 的 时 间 。 驾 奴 大 数据 确实 有 一 些 困难 ， 有 
些 人 或 许 会 抗拒 变革 ， 但 从 现在 开始 轨 奴 大 数据 是 完全 可 行 的。 不 管 是 
文本 数据 、 网 络 日 志 还 是 传 感 占 数据 ， 己 经 有 不 少 企业 开始 捕获 这 些 数 
据 来 进行 分 析 ， 并 以 此 来 提升 决策 能 力 。 

那些 下 决心 成 为 大 数据 应 用 领导 者 的 企业 将 发 现 新 的 商业 机 会 ， 并 
实施 新 的 业务 流程 ， 而 那些 跟随 领导 者 步伐 的 企业 还 没 意 识 到 发 生 了 什 
么 事情 。 你 可 以 作为 开拓 者 进入 茶 个 数据 分 析 领 域 ， 这 种 机 会 其 实 并 不 
常见 。 大 数据 给 了 企业 这 种 机 会 ， 不 要 让 你 面前 的 这 个 机 会 跑 掉 ! 现在 
就 开始 答 试 使 用 大 数据 进行 分 机 ， 这 将 改变 企业 的 业务 运营 方式 。 你 一 
定 会 获得 丰厚 的 回报 ! 你 还 在 等 什么 ? 























TERADATA. 

“ 随 着 信息 技术 的 飞速 发 展 ， 人 类 社会 已 进入 一 个 数字 信息 时 代 。 即 
时 获取 和 掌握 信息 的 多 少 ， 己 成 为 衡量 一 个 国家 实力 强 弱 的 标志 。 但 一 
切 信 息 ， 叉 随 不 同 需 求 者 而 定义 为 有 荔 与 否 ， 而 一 切 有 益 信 息 都 是 从 海 
量 数据 中 经 过 分 析 而 生成 的 。 海 量 数据 义 随时 间 不 断 产 生 ， 不 断 流动 、 
扩散 ， 形 成 一 股 像 海潮 的 大 数据 流 。 只 有 经 过 对 大 数据 的 分 析 才 能 形成 
各 目 需 要 的 信息 ， 才 能 从 信息 中 产生 知识 ， 才 能 造就 乔 芒 型 社会 。 本 书 
作者 就 大 数据 兴起 及 分 析 方 法 和 技巧 作出 了 深入 浅 出 的 表述 ， 在 当前 大 
数据 热潮 中 ， 值 得 一 读 。” 









































吴 基 传 原 国家 信息 产业 部 部 长 





“信息 技术 的 飞速 发 展 ， 以 及 互联 网 企业 丙 业 模式 的 不 断 创新 ， 使 得 
全 球 数 据 量 呈现 出 几何 级 数 般 的 爆炸 性 增长 ， 全 球 进入 了 大 数据 时 代 。 
红楼 梦 中 ' 任 赁 弱 水 三 千 ， 我 只 取 一 味 饮 :， 在 浩瀚 的 信息 海洋 中 ， 谁 能 
够 更 快速 、 更 准确 地 获取 有 价值 的 信息 并 充分 利用 ， 谁 就 能 在 大 数据 时 
代 立 于 不 败 之 地 ， 获 得 成 功 。 如 何 充分 利用 大 数据 、 挖 气 大 数据 所 经 含 
的 价值 ， 需 要 我 们 把 握 大 数据 的 特点 ， 积 极 探索 海量 数据 存储 、 实 时 数 
据 处 理 、 新 型 分 析 挖 掘 技术 的 应 用 ， 以 及 新 的 数据 架构 的 设计 等 解决 之 
道 。 本 书 对 上 述 问题 进行 了 深入 探讨 ， 提 出 了 许多 真知 灼 见 ， 值 得 一 


= = 3?? 
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王 晓 初 ”中 国电 信和 集团 公司 董事 长 


“大 数据 时 代 不 以 人 的 意志 而 来 。 对 此 ， 不 仅 要 认 知 和 熟悉 ， 更 要 学 
会 驾驭 与 运用 。 与 一 般 大 数据 书籍 不 同 ， 本 书 聚 焦 如 何在 分 析 中 凝 炼 数 
据 价 值 、 在 运用 中 创造 数据 财富， 发 乎 牛 迪 ， 止 乎 驾驭， 对 于 人 们 在 
大 数据 的 浪潮 中 畅 至 更 多 精彩 大 有 人 神 益 。” 








常 小 兵 ”中国 联通 集 团 公 司 董事 长 





“现代 信息 技术 推动 了 大 数据 的 发 展 ， 大 数据 给 各 行 各 业 带 来 了 许多 
新 的 机 会 。 面 对 大 数据 的 浪潮 ， 人 人们 关心 如 何 去 采 集 和 汇总 海量 的 数 
据 ， 人 们 更 关心 如 何 对 采集 到 的 数据 进行 系统 性 的 分 析 ， 通 过 分 析 体 现 
出 数据 的 价值 ， 并 在 实际 工作 中 得 到 充分 的 利用 。 本 书 很 好 地 回答 了 这 


些 问 题 。” 








王建 害 ” 原 中 国 移动 集团 公司 董事 长 
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